[論文レビュー] Steerable CNNs

Taco Cohen, Max Welling|arXiv (Cornell University)|Dec 27, 2016

Advanced Neural Network Applications被引用数 23

ひとこと要約

この論文は、回転や反転などの群変換の下で線形的に可変性を保つように表現理論を活用する、同変畳み込みニューラルネットワーク（Steerable CNNs）のクラスを導入する。特定の対称性に関連する基本的なタイプに特徴表現を分解することで、パラメータ共有のコストを削減し、最小限のラベル付きデータでCIFAR-10およびCIFAR-100で最先端の性能を達成し、ResNet やワイド・ディープネットワーク、半教師ありベースラインを上回る。

ABSTRACT

It has long been recognized that the invariance and equivariance properties of a representation are critically important for success in many vision tasks. In this paper we present Steerable Convolutional Neural Networks, an efficient and flexible class of equivariant convolutional networks. We show that steerable CNNs achieve state of the art results on the CIFAR image classification benchmark. The mathematical theory of steerable representations reveals a type system in which any steerable representation is a composition of elementary feature types, each one associated with a particular kind of symmetry. We show how the parameter cost of a steerable filter bank depends on the types of the input and output features, and show how to use this knowledge to construct CNNs that utilize parameters effectively.

研究の動機と目的

• 離散的で小さな対称性群にとどまらない、柔軟で効率的な同変畳み込みネットワークのフレームワークを構築すること。
• 可変表現の数学的構造を活用して、フィルターバンクのパラメータコストを低減すること。
• ネットワークアーキテクチャに対称性の帰納的バイアスを埋め込むことで、深層学習における統計的効率を向上させること。
• 可変性が、特にデータが少ない状況で優れた性能をもたらすことを示すこと。
• 表現理論と深層学習を結びつける理論的基盤を確立し、同変特徴学習の理解を深めること。

提案手法

• 任意の可変表現が、特定の対称性タイプに関連する基本的な特徴タイプの組み合わせで構成されるタイプシステムを導入する。
• 群表現理論を用いて、特徴マップが群作用の下でどのように変換されるかを定義し、特徴応答が変換に対して線形的に可変になるように保証する。
• 入力および出力特徴タイプの変換ルールに一致するように、畳み込みフィルタの重み初期化とパラメータ共有を制約することで、同変性を強制する。
• 対称性群の非可約表現に基づいて、可変フィルタバンクのパラメータ数の閉形式の式を導出する。
• 混合キャプセルタイプ（商表現および非可約表現）を組み合わせた残差ブロック設計を採用し、ReLU や CReLU などの非線形関数を併用する。
• 表現の代数的構造を活用することで、計算コストを群のサイズから分離し、より大きな群へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 連続的かつ大きな対称性群に対して同変となる畳み込みネットワークを体系的に構築する方法は何か？
• RQ2 与えられた群作用の下で、ある可変特徴タイプから別の可変特徴タイプへのマッピングに必要なフィルタバンクの最小パラメータコストは何か？
• RQ3 表現論的フレームワークは、特にラベル付きデータが限られた状況で、深層学習の統計的効率を向上させうるか？
• RQ4 基本的特徴タイプの組み合わせが、可変CNNの表現力および性能に与える影響は何か？
• RQ5 可変表現は、データが少ない状況下で、標準的なCNNを上回る性能を示せるか？

主な発見

• CIFAR-10で50,000件のラベル付き例を使用した場合、Steerable CNNは3.65%のテスト誤差を達成し、ResNet（4.62%）、Wide ResNet（4.17%）、DenseNet（3.74%）を上回った。
• CIFAR-100で50,000件のラベルを使用した場合、同様に18.82%の誤差を達成し、ResNet（22.71%）、Wide ResNet（20.50%）、DenseNet（19.25%）を上回った。
• 4,000件のラベル付き例でのみ使用した場合、Steerable CNNはCIFAR-10+で16.42%の誤差を達成し、Rasmusら（2016）の半教師あり手法やDCGANによるトランスファー学習（26.2%誤差）を上回った。
• 2,000件のラベルで、混合キャプセルタイプ（商表現および非可約表現）を用いたアーキテクチャはCIFAR-10で24.48%の誤差を達成し、標準的なResNetや通常のキャプセルを上回った。
• 可変フィルタバンクのパラメータコストは、フィルタ重みを対称性群の非可約表現に一致させることで顕著に削減され、効率的なパラメータ共有が可能になった。
• 理論的フレームワークにより、表現の代数的構造を活用することで、計算コストを群のサイズから分離でき、より大きな連続的対称性群へのスケーリングが可能となり、将来的には3次元や連続的制御タスクへの応用が見込まれる。