[論文レビュー] Harmonic Networks: Deep Translation and Rotation Equivariance

Daniel E. Worrall, Stephan J. Garbin+2 more|arXiv (Cornell University)|Dec 14, 2016

Advanced Vision and Imaging参考文献 15被引用数 30

ひとこと要約

この論文では、円形の調和フィルタを用いることで、パッチ単位の平行移動および連続的な360°回転等変性を達成する畳み込みニューラルネットワーク（H-Nets）を提案する。スティアブルフィルタを用いてネットワークアーキテクチャに回転対称性をハードベイキングすることで、H-Netsは、データ効率性の向上と特徴マップの解釈可能性の向上を伴いながら、最新の性能を達成し、パラメータ効率性と現代のディープラーニング技術との互換性を維持する。

ABSTRACT

Translating or rotating an input image should not affect the results of many computer vision tasks. Convolutional neural networks (CNNs) are already translation equivariant: input image translations produce proportionate feature map translations. This is not the case for rotations. Global rotation equivariance is typically sought through data augmentation, but patch-wise equivariance is more difficult. We present Harmonic Networks or H-Nets, a CNN exhibiting equivariance to patch-wise translation and 360-rotation. We achieve this by replacing regular CNN filters with circular harmonics, returning a maximal response and orientation for every receptive field patch. H-Nets use a rich, parameter-efficient and low computational complexity representation, and we show that deep feature maps within the network encode complicated rotational invariants. We demonstrate that our layers are general enough to be used in conjunction with the latest architectures and techniques, such as deep supervision and batch normalization. We also achieve state-of-the-art classification on rotated-MNIST, and competitive results on other benchmark challenges.

研究の動機と目的

• 標準のCNNでは局所的な回転等変性が欠如しており、入力の回転に対して予測可能な特徴変換を維持できないことに対処する。
• 回転不変性を達成するためのデータオーグメンテーションの限界を克服する。これは近似的であり、レイヤー単位の等変性を保証しない。
• パラメータ効率的で固定の複雑性を持つネットワークアーキテクチャを設計し、調和フィルタを用いて回転対称性を内蔵的に符号化する。
• ハードベイクドされた回転等変性が、特に限られたまたは増強なしの訓練データにおいて一般化を向上させることを示す。
• 各レイヤーにわたり方向性と位相情報を保持することで、より豊かで解釈可能な特徴表現を可能にする。

提案手法

• 標準の畳み込みフィルタを、すべての回転バージョンを有限の線形結合によって表現可能なスティアブルな円形調和フィルタに置き換える。
• 固定の調和基底関数のセットを用いてフィルタをパrameter化し、重複する回転コピーの学習を避けることで回転等変性を保証する。
• すべてのレイヤーで調和フィルタを用いてネットワークを構築し、入力の回転に対する特徴マップの予測可能な変換を可能にする。
• バッチ正規化やディープスーパービジョンなどの現代のディープラーニングコンponentsとH-Netsを統合し、アーキテクチャの互換性を示す。
• 円形調和の数学的性質を活用し、特徴マップが回転に対して予測可能に変化することを保証し、位相と振幅が方向性と応答強度を符号化する。
• TensorFlowを用いてネットワークを実装し、回転-MNISTや境界検出のためのBSD500を含むベンチマークデータセットで性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションに依存せずに、パッチレベルで連続的な360°回転等変性を達成できる深層CNNを設計できるか？
• RQ2 調和フィルタによるハードベイクドされた回転等変性は、データオーグメンテーションと比較して、データ効率性と一般化性能においてどのように異なるか？
• RQ3 標準のCNNフィルタと比較して、調和フィルタは解釈可能性をどの程度保ち、パラメータの重複をどの程度削減できるか？
• RQ4 調和ネットワークは複数のレイヤーにわたり等変性を維持でき、オブジェクト分類や境界検出のような複雑なタスクに一般化できるか？
• RQ5 調和フィルタの使用は、回転に強く挑戦的なベンチマーク（例：回転-MNIST）でより良い性能をもたらすか？

主な発見

• H-Netsは、データオーグメンテーションを伴う標準CNNですら上回る、回転-MNISTデータセットにおける最先端の分類精度を達成する。
• ネットワークは優れたデータ効率性を示し、標準CNNと比較してはるかに少ない訓練データで高い性能を達成する。
• H-Netsの特徴マップは、レイヤー間で方向性と位相情報を保持しており、可視化により一貫した方向性符号化と多様な構造的符号化（エッジ、コーナー、物体、負の空間）が確認できる。
• 円形調和を用いることで、パラメータの重複が低減され、位相情報が完全に活用される。これは、効率的なパラメータ使用と、重複するフィルタコピーの学習の削減を示している。
• H-Netsは、入力の回転に対する可視化により、すべてのレイヤーで回転等変性を維持していることが確認され、予測可能な変換行動を示している。
• 事前学習なしで境界検出において競争力ある結果を達成しており、複雑なビジョンタスクにおける強力な一般化性と表現力が示された。