[論文レビュー] Learning Steerable Filters for Rotation Equivariant CNNs

Maurice Weiler, Fred A. Hamprecht+1 more|arXiv (Cornell University)|Nov 20, 2017

Topic Modeling参考文献 26被引用数 13

ひとこと要約

本論文は、回転等長性を正確に達成するために原子的可変フィルタの線形結合としてフィルタを学習する、回転等長性を備えた畳み込みニューラルネットワークアーキテクチャ「Steerable Filter CNNs（SFCNNs）」を提案する。この手法は、補間アーチファクトを回避する。グループ畳み込みと一般化されたHeの初期化を用い、回転させたMNIST（99.1％の正確性）で最先端の性能を達成し、ISBI 2012 EMセグメンテーションチャレンジでも上位3位以内にランクされた。

ABSTRACT

In many machine learning tasks it is desirable that a model's prediction transforms in an equivariant way under transformations of its input. Convolutional neural networks (CNNs) implement translational equivariance by construction; for other transformations, however, they are compelled to learn the proper mapping. In this work, we develop Steerable Filter CNNs (SFCNNs) which achieve joint equivariance under translations and rotations by design. The proposed architecture employs steerable filters to efficiently compute orientation dependent responses for many orientations without suffering interpolation artifacts from filter rotation. We utilize group convolutions which guarantee an equivariant mapping. In addition, we generalize He's weight initialization scheme to filters which are defined as a linear combination of a system of atomic filters. Numerical experiments show a substantial enhancement of the sample complexity with a growing number of sampled filter orientations and confirm that the network generalizes learned patterns over orientations. The proposed approach achieves state-of-the-art on the rotated MNIST benchmark and on the ISBI 2012 2D EM segmentation challenge.

研究の動機と目的

• 設計上、並進と回転の両方に等長性を備えたCNNアーキテクチャを開発し、過学習を低減し一般化性能を向上させること。
• 回転フィルタ応答における補間アーチファクトを排除するため、原子的基底関数の線形結合としてパrameter化された可変フィルタを用いること。
• 可変関数空間に定義されたフィルタに適応したHeの重み初期化スキームを一般化し、安定した学習を保証すること。
• ベンチマークデータセットを用いた実験的評価により、方向にわたる一般化性能とサンプル複雑性の向上を実証すること。
• 回転等長性タスク、たとえば回転させたMNISTやEM画像セグメンテーションにおいて、最先端の性能を達成すること。

提案手法

• すべての層で一様な並進および回転等長性を強制するために、グループ畳み込みを用いる。
• フィルタは、固定された原子的可変フィルタ系の線形結合としてパラメータ化され、展開係数の位相操作により正確な回転が可能になる。
• 原子的フィルタ基底のエネルギーを正規化することで、Heの初期化を一般化し、勾配安定性を維持する。
• 方向にわたって重みを共有することで、パラメータ効率をΛ（サンプリングされた方向数）倍向上させる。
• セグメンテーションタスクでは、グローバルな方向プーリングにより方向平均応答を得て、局所的に不変な特徴を生成する。
• Adam最適化、エラスティックネット正則化、ドロップアウトを用い、安定性を高めるために学習率の段階的減少とデータ拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 回転フィルタ応答における補間アーチファクトを回避するため、回転フィルタの回転に補間を用いずに正確な回転等長性を達成できるCNNアーキテクチャを設計できるか？
• RQ2 可変フィルタとグループ畳み込みの使用が、方向にわたるサンプル複雑性と一般化性能に与える影響は何か？
• RQ3 可変フィルタ基底に適した一般化された重み初期化スキームを導出できるか？ これにより、学習の安定性が保たれるか？
• RQ4 提案されたSFCNNアーキテクチャは、標準CNNよりも回転等長性タスクで優れた性能を示すか？
• RQ5 サンプリングされた方向数を増やすことで、回転不変認識タスクにおける性能がどの程度向上するか？

主な発見

• SFCNNは回転させたMNISTベンチマークで99.1％の正確性を達成し、すべての先行手法を上回り、このタスクで99％を超える最初のモデルである。
• 方向分解能が高くなるにつれて性能が顕著に向上し、サンプル複雑性が低下することが示された。
• ISBI 2012 2次元EMセグメンテーションチャレンジでは上位3位以内にランクされ、実世界のバイオメディカル画像処理タスクにおける有効性が検証された。
• 可変フィルタの使用により、回転フィルタ学習で一般的に性能を低下させる補間アーチファクトが排除された。
• 一般化されたHe初期化スキームにより、原子的フィルタ基底関数のエネルギーを正規化することで、安定した学習が保証された。
• 回転方向における重み共有により、過学習を防ぎつつ、大きな有効フィルタバンクを実現する高いパラメータ効率を達成した。