[論文レビュー] Deep Rotation Equivariant Network

Junying Li, Zichen Yang+2 more|arXiv (Cornell University)|May 24, 2017

Human Pose and Action Recognition参考文献 25被引用数 6

ひとこと要約

本稿では、特徴マップの代わりにフィルタを回転させることで、深層回転等長性を達成する新しいCNNフレームワークであるDeep Rotation Equivariant Network (DREN)を提案する。これにより、従来手法と比較して実行時間は2倍以上短縮され、メモリ使用量も削減される。DRENはRotated MNISTおよびCIFAR-10において同等の性能を維持しながら、回転等長性表現の学習をより効率的に行える。

ABSTRACT

Recently, learning equivariant representations has attracted considerable research attention. Dieleman et al. introduce four operations which can be inserted into convolutional neural network to learn deep representations equivariant to rotation. However, feature maps should be copied and rotated four times in each layer in their approach, which causes much running time and memory overhead. In order to address this problem, we propose Deep Rotation Equivariant Network consisting of cycle layers, isotonic layers and decycle layers. Our proposed layers apply rotation transformation on filters rather than feature maps, achieving a speed up of more than 2 times with even less memory overhead. We evaluate DRENs on Rotated MNIST and CIFAR-10 datasets and demonstrate that it can improve the performance of state-of-the-art architectures.

研究の動機と目的

• 各層で特徴マップをコピーおよび回転する必要があるため、既存の回転等長性CNNに高い計算およびメモリオーバーヘッドが生じる問題に対処する。
• 性能を損なわせることなく、回転に対して等長性を示す深層表現を学習するより効率的なフレームワークを開発する。
• 推論時間とメモリ消費量を削減することで、回転等長性ネットワークの実用的導入を可能にする。
• フィルタベースの回転が特徴マップベースの手法と同等の等長性を達成するが、効率性に優れることを示す。
• 90°の倍数に限らない任意の回転角度をサポートするよう一般化し、スケールやアフィン変換などの他の変換群への等長性を拡張する。

提案手法

• 計算パイプライン内で回転等長性を体系的かつ的確に処理するため、サイクル層、等長層、デサイクル層という3つの新しい層を提案する。
• 順伝搬時に特徴マップの代わりにフィルタを回転させることで、各層で特徴マップを複製および回転する必要を排除する。
• 90°、180°、270°、360°回転における等長性を維持するために、巡回置換およびグループ畳み込み演算を適用する。
• 最初の層の後にクロスチャネルプーリング機構を適用し、等長性を強制する。これは先行研究と同様のアプローチだが、より高い効率性を実現する。
• 事前に回転したフィルタを格納することで、最小限のランタイムオーバーヘッドで高速な推論を実現する。
• 理論的分析により、DRENが[10]と同等の回転等長性出力を達成するが、複雑性が低減されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、計算コストおよびメモリコストを著しく削減しつつ、CNNにおける深層回転等長性を達成できるか？
• RQ2 特徴マップの代わりにフィルタを回転させることで、同等の回転等長性が維持され、かつ効率性が向上するか？
• RQ3 DRENは90°の倍数に限らない任意の回転角度に一般化可能であり、スケールやアフィン変換などの他の変換群に対しても等長性を拡張できるか？
• RQ4 Rotated MNISTおよびCIFAR-10といった標準ベンチマークにおいて、SOTAモデルと比較してDRENの性能はいかがなものか？
• RQ5 DRENで学習された表現は、トラックと自動車のような類似した物体間で、回転下における意味的類似性をどの程度反映しているか？

主な発見

• DRENは[10]の手法（各層で特徴マップを回転）と比較して、推論時間を2倍以上短縮した。
• DRENでは、推論中に特徴マップの複製および回転を回避するため、メモリ消費量が低減された。
• Rotated MNISTでは、パrameter数が少ないにもかかわらず、既存手法を上回る性能を示し、より優れたサンプル効率を示した。
• CIFAR-10では、同じパラメータ数でSOTAモデルの精度を向上させた。
• 可視化により、DRENのみが正確に回転等長性を持つ特徴マップを出力しており、回転された入力に対して一貫した予測が得られていることが確認された。
• DRENで学習された表現は、意味的に類似した物体（例：自動車とトラック）間で高い類似性を示しており、意味的な不変性および一般化性が裏付けられた。