[論文レビュー] Multi-Bias Non-linear Activation in Deep Neural Networks

Hongyang Li, Wanli Ouyang+1 more|arXiv (Cornell University)|Apr 3, 2016

Video Surveillance and Tracking Methods参考文献 17被引用数 46

ひとこと要約

本論文では、共有畳み込みカーネルと複数の学習可能バイアスを用いて、応答の大きさの範囲に基づいて特徴マップの応答を複数のバンドマップに分離する、マルチバイアス非線形活性化（MBA）層を提案する。異なる大きさのバンドに応じた応答の選択的保持を可能にすることで、MBAは最小限の計算コストで特徴表現の柔軟性を向上させ、データオーグメンテーションを用いることでCIFAR-10（5.38%の誤差）およびSVHN（1.80%の誤差）で最先端の性能を達成した。

ABSTRACT

As a widely used non-linear activation, Rectified Linear Unit (ReLU) separates noise and signal in a feature map by learning a threshold or bias. However, we argue that the classification of noise and signal not only depends on the magnitude of responses, but also the context of how the feature responses would be used to detect more abstract patterns in higher layers. In order to output multiple response maps with magnitude in different ranges for a particular visual pattern, existing networks employing ReLU and its variants have to learn a large number of redundant filters. In this paper, we propose a multi-bias non-linear activation (MBA) layer to explore the information hidden in the magnitudes of responses. It is placed after the convolution layer to decouple the responses to a convolution kernel into multiple maps by multi-thresholding magnitudes, thus generating more patterns in the feature space at a low computational cost. It provides great flexibility of selecting responses to different visual patterns in different magnitude ranges to form rich representations in higher layers. Such a simple and yet effective scheme achieves the state-of-the-art performance on several benchmarks.

研究の動機と目的

• ReLUおよびその変種が、階層的特徴学習における意味のあるパターンを表す可能性のある低応答マップを破棄するという限界を是正すること。
• 同じカーネルを持つがバイアスが異なる複数のフィルタを学習することで生じるモデルの複雑さと冗長性を低減すること。
• 畳み込み特徴応答の大きさにまだ十分に活用されていない判別情報が存在するかを調査し、より豊富で柔軟な特徴表現を可能にすること。
• ネットワークの深さやパラメータ数を増加させることなく、表現能力を向上させる軽量で計算効率の良い活性化機構を設計すること。

提案手法

• MBA層は畳み込み層の直後に挿入され、1つの特徴マップに複数の異なるバイアス項を適用することで、応答の大きさの範囲に応じて複数のバンドマップに効果的に分割する。
• 各バイアス項は、別々のバイナリに近い活性化マップを生成するためのしきい値として機能し、しきい値を超える応答は保持され、それ以下の応答は抑制される。
• すべてのバイアスブランチで同じ畳み込みカーネルを共有することで、重複するフィルタの必要性を回避し、パラメータと計算のオーバーヘッドを削減する。
• 各バンドマップはバイアスごとに独立して生成されるため、後続の層が異なる応答の大きさの範囲に注目でき、多様な視覚的パターンの検出が可能になる。
• この手法はmaxoutとは直交的である。maxoutはK個の特徴マップを1つに結合するが、MBAは1つのマップをK個のバンドマップに分割するため、最小限のコストでより豊かな表現が可能になる。
• 最終的なネットワークでは、複数のバイアス値を持つ1つの畳み込みカーネルを使用し、出力を連結するか、別々のチャネルとして処理することで、高レベルの特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み特徴マップの応答の大きさに、単なるしきい値処理を越えた判別情報が含まれる可能性があり、もしそうなら、それを表現学習の向上に活用できるか？
• RQ2 共有カーネルを用いて、1つの特徴マップを大きさに基づいた複数のバンドマップに分離することで、従来のReLUベースのネットワークと比較して性能が向上するか？
• RQ3 マルチバイアス活性化機構により、冗長なフィルタの必要性を減らしつつ、分類精度を維持または向上させられるか？
• RQ4 ReLU、ELU、maxoutなどの他の最先端の活性化関数と比較して、MBA層は精度およびパラメータ効率の面で優れているか？

主な発見

• 提案されたMBAモデルは、データオーグメンテーションを用いたCIFAR-10で5.38%のテスト誤差を達成し、以前の最先端手法より1.17%の絶対的差を示した。
• データオーグメンテーションを用いたCIFAR-100では、MBAモデルが24.1%のテスト誤差を達成し、以前の最先端手法より0.18%の絶対的改善を示した。
• データオーグメンテーションなしでは、CIFAR-10で6.73%の誤差、CIFAR-100で26.14%の誤差を記録し、CIFAR-10の前回のSOTAに対して29.8%の相対的改善を示した。
• SVHNデータセットでは、データオーグメンテーションなしで1.80%のテスト誤差を達成し、DropConnect（1.94%）やDSN（1.92%）を上回る性能を示した。
• MBA層は、複数の大きさのバンドにわたる応答を保持・分離することで、より豊かな特徴空間表現を可能にし、後続層が異なる視覚的パターンに適切に関連する情報を選択的に使用できるようにした。
• ネットワークの深さを増加させず、過剰なデータオーグメンテーションを使用しない状況でも優れた性能を発揮しており、表現学習における効率性と有効性を示している。