[論文レビュー] Oriented Response Networks

Yanzhao Zhou, Qixiang Ye+2 more|arXiv (Cornell University)|Jan 7, 2017

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 34

ひとこと要約

本論文では、仮想的な回転フィルタバンクを用いて畳み込み中に方向情報を明示的に符号化する、アクティブ回転フィルタ（ARFs）を導入することで、深層畳み込みニューラルネットワークを向上させるオリエンテッドリスポンスネットワーク（ORNs）を提案する。標準の畳み込みフィルタをARFsに置き換えることで、モデルサイズを最大50%まで削減しつつ、局所的および大域的文脈における画像回転に対して高い耐性を示し、最先端の分類性能を達成する。

ABSTRACT

Deep Convolution Neural Networks (DCNNs) are capable of learning unprecedentedly effective image representations. However, their ability in handling significant local and global image rotations remains limited. In this paper, we propose Active Rotating Filters (ARFs) that actively rotate during convolution and produce feature maps with location and orientation explicitly encoded. An ARF acts as a virtual filter bank containing the filter itself and its multiple unmaterialised rotated versions. During back-propagation, an ARF is collectively updated using errors from all its rotated versions. DCNNs using ARFs, referred to as Oriented Response Networks (ORNs), can produce within-class rotation-invariant deep features while maintaining inter-class discrimination for classification tasks. The oriented response produced by ORNs can also be used for image and object orientation estimation tasks. Over multiple state-of-the-art DCNN architectures, such as VGG, ResNet, and STN, we consistently observe that replacing regular filters with the proposed ARFs leads to significant reduction in the number of network parameters and improvement in classification performance. We report the best results on several commonly used benchmarks.

研究の動機と目的

• 標準のDCNNが顕著な画像回転、特にオブジェクトの局所的および大域的パーツに対して制限された対処能力を示す問題に対処すること。
• 追加のモジュールを追加せず、ネットワークトポロジーを変更せずに、階層的な方向情報を特徴マップに明示的に符号化する手法を開発すること。
• 畳み込み層レベルで回転不変性を埋め込むことで、分類精度とモデル効率を向上させること。
• 同じ方向特徴マップを用いて、回転不変表現学習と方向推定の両方を可能にすること。

提案手法

• アクティブ回転フィルタ（ARFs）は、標準フィルタとその実装されていない回転バージョンを含む仮想フィルタバンクとして導入され、方向に敏感な特徴抽出を可能にする。
• 畳み込み処理中に、ARFsは複数の方向にわたって能動的に回転し、明示的な方向チャネルを持つ特徴マップを生成する。
• 誤差は、すべての回転バージョンからの誤差を統合してバックプロパゲーションによりARFsを同時に更新し、トレーニング中に回転の一貫性を保つ。
• オリエンテッドリスポンス畳み込み（ORConv）は、標準畳み込みに置き換えられ、ARFsが各層で方向に敏感な応答を捉えることを可能にする。
• ORAlignレイヤーは、方向チャネルを整列させることで回転不変特徴を生成し、分類に向けたSIFTに類似した整列を可能にする。
• 本手法は、VGG、ResNet、STNといった既存アーキテクチャにスムーズに統合可能であり、アーキテクチャの変更なしにそれらをORNにアップグレードできる。

実験結果

リサーチクエスチョン

• RQ1 畳み込みフィルタに明示的な方向符号化を施すことで、画像回転下での一般化性能が向上するか？
• RQ2 標準フィルタをARFsに置き換えることで、回転不変分類に向けたよりコンパクトで正確なモデルが得られるか？
• RQ3 追加の教師信号やモジュールなしに、ORNsが画像およびオブジェクトの方向を効果的に推定できるか？
• RQ4 パrameter効率と性能の観点から、ARF機構はデータオーグメンテーションと比較してどうなるか？
• RQ5 ORNsは、CIFAR-10やCIFAR-100のような回転されたオブジェクトを含むベンチマークで、どの程度性能を向上できるか？

主な発見

• ORNsは、CIFAR-10およびCIFAR-100で最先端の性能を達成し、ベースラインモデル（例：VGGの10.1Mパラメータ対して20.1Mパラメータ）と比較して最大50%のパラメータ削減を実現する。
• 4.5MパラメータのOR-WideResNet-40-2は、CIFAR-10でSOTAのWideResNet-28-10（36.5Mパラメータ）を上回り、3.43%のテスト誤差を達成したのに対し、SOTAモデルは3.89%であった。
• CIFAR-10において、ORNモデルは回転が顕著なクラス（カエル：31%、鳥：30.7%、鹿：27.3%）の誤差率をそれぞれ低減した。
• ORNをロケーションネットワークに組み込んだORNベースのSTN変種は、標準STNが失敗する大角度回転した数字を正しく補正する優れた方向推定性能を示した。
• 0.9MパラメータのOR-ResNetはCIFAR-10で5.31%の誤差率を達成し、半分のパラメータでベースラインのResNet-110（6.43%）を上回った。
• ORAlignレイヤーは回転不変特徴を効果的に生成し、SIFTに類似した整列を可能にした一方で、推定タスクに使用する際には方向情報を保持した。