[論文レビュー] Exploiting Cyclic Symmetry in Convolutional Neural Networks

Sander Dieleman, Jeffrey De Fauw+1 more|arXiv (Cornell University)|Feb 8, 2016

Medical Image Segmentation Techniques参考文献 28被引用数 160

ひとこと要約

この論文は、CNNの回転性の循環対称性を符号化するために、 Cyclic slicing、Pooling、Rolling、Stacking の4つのニューラルネットワーク層を提案し、異なる方位間でのパラメータ共有を可能にし、回転対称データセットで小さめのモデルでも性能を向上させる。

ABSTRACT

Many classes of images exhibit rotational symmetry. Convolutional neural networks are sometimes trained using data augmentation to exploit this, but they are still required to learn the rotation equivariance properties from the data. Encoding these properties into the network architecture, as we are already used to doing for translation equivariance by using convolutional layers, could result in a more efficient use of the parameter budget by relieving the model from learning them. We introduce four operations which can be inserted into neural network models as layers, and which can be combined to make these models partially equivariant to rotations. They also enable parameter sharing across different orientations. We evaluate the effect of these architectural modifications on three datasets which exhibit rotational symmetry and demonstrate improved performance with smaller models.

研究の動機と目的

• CNNにおける回転対称性を符号化するためのアーキテクチャ priors の利用を動機付け、冗長性と過適合を低減する。
• 回転対称性を実現しパラメータ共有を可能にする4つの互換性のある層を導入する。
• 回転対称データセットでの性能とパラメータ効率の改善を実証する。
• 離散対称性の拡張やより広い変換群への実装上の選択と実用的な拡張を論じる。

提案手法

• 4 つの操作を定義し実装する: cyclic slicing (S)、cyclic pooling (P)、cyclic rolling (R)、cyclic stacking (T)。
• 入力の4つの回転コピーを作成するためにスライシングを使用し、回転コピーを置換不変の関数で結合するためにプーリングを、方位特異的な特徴マップをより豊かな表現へ統合するためにローリングを用いる。
• 代数的関係を形式化する: S(x) = [x, r x, r^2 x, r^3 x]^T, P(x) = p(x_0, r^{-1}x_1, r^{-2}x_2, r^{-3}x_3), T(x) = [x_0, r^{-1}x_1, r^{-2}x_2, r^{-3}x_3], R(x) = [T(x), T(σ x), T(σ^2 x), T(σ^3 x)]^T.
• Discuss implementation choices: rotate feature maps vs rotate filters, and the practical implications for memory and compatibility with frameworks.

実験結果

リサーチクエスチョン

• RQ1 提案された層を用いて循環回転対称性をエンコードすることは、回転対称データに対するパラメータ削減と精度の両立をもたらすのか。
• RQ2 cyclic slicing、pooling、rolling、stacking はモデル容量と異なるデータセット間の一般化にどのように影響するのか。
• RQ3 層の実装における実用的考慮事項（例：メモリ、バッチサイズ、同一-等変性 vs 不変性） は何か。
• RQ4 循環対称性の下で、どのプーリング関数（平均、 RMS、最大） が最良の性能を発揮し、データセットによって変わるのか。
• RQ5 このアプローチは、他の回転符号化戦略と比べて性能と効率の点でどう比較されるのか。

主な発見

• 循環アーキテクチャは、回転対称データセットに対して小さめのパラメータ予算で性能を改善できる。
• 回転プーリングで平均プーリングを用いると、プランクトンデータセットで最良のクロスエントロピ性能を示すことが多い。
• ローリング層の導入は、データセット全体でパラメータを削減しつつ性能を維持または向上させる。
• 比較結果は、循環層によるパラメータ共有が複数タスクでベースライン以上の性能を少ないパラメータで達成することができることを示す。
• 実用的な選択（例：特徴マップを回転させるか、フィルタを回転させるか）は、メモリと実装の容易さに影響する。