[論文レビュー] SAN: Learning Relationship between Convolutional Features for Multi-Scale Object Detection

Yonghyun Kim, Bong-Nam Kang+1 more|arXiv (Cornell University)|Aug 15, 2018

Advanced Neural Network Applications参考文献 32被引用数 5

ひとこと要約

本論文では、空間情報に依存せずに、異なるスケール間の畳み込み特徴チャネル間の関係をモデル化することで、スケール不変表現を学習する新しいモジュール、Scale Aware Network (SAN) を提案する。チャネルルーティング機構と独自の学習戦略を用いることで、スケール間での特徴分布の差を低減し、推論コストを最小限に抑えながら、VOC PASCAL で 1.2 mAP、MS COCO で 2.1 mAP の精度向上を達成する。

ABSTRACT

Most of the recent successful methods in accurate object detection build on the convolutional neural networks (CNN). However, due to the lack of scale normalization in CNN-based detection methods, the activated channels in the feature space can be completely different according to a scale and this difference makes it hard for the classifier to learn samples. We propose a Scale Aware Network (SAN) that maps the convolutional features from the different scales onto a scale-invariant subspace to make CNN-based detection methods more robust to the scale variation, and also construct a unique learning method which considers purely the relationship between channels without the spatial information for the efficient learning of SAN. To show the validity of our method, we visualize how convolutional features change according to the scale through a channel activation matrix and experimentally show that SAN reduces the feature differences in the scale space. We evaluate our method on VOC PASCAL and MS COCO dataset. We demonstrate SAN by conducting several experiments on structures and parameters. The proposed SAN can be generally applied to many CNN-based detection methods to enhance the detection accuracy with a slight increase in the computing time.

研究の動機と目的

• 畳み込みニューラルネットワークベースのオブジェクト検出器におけるスケール変動の課題に対処すること。特に、異なるスケールからの特徴が大きな分布差を示す点に焦点を当てる。
• 畳み込み特徴のスケール不変表現を学習することで、スケール間の特徴差を低減すること。
• 空間情報に依存せずにチャネル間の関係をモデル化する手法を設計し、効率的で頑健な特徴学習を実現すること。
• バックボーンや検出器アーキテクチャを変更せずに、広範なスケール範囲で検出精度を向上させること。
• R-FCN や Deformable R-FCN といった既存の検出器への適用を通じて、一般化性能を実証すること。

提案手法

• SAN は、チャネルレベルの関係にのみ依存する学習可能なサブネットワークを用いて、異なる入力スケールからの特徴を共有のスケール不変部分空間にマップする。
• 特徴活性化がスケールに応じてどのように変化するかを可視化・分析するためのチャネルアクティベーションマトリクスを用い、アーキテクチャ設計を支援する。
• 空間的文脈を省略することで、効率性と一般化性能を向上させる、チャネル間関係に特化した独自の学習メカニズムを導入する。
• スケールに応じたチャネル相互作用に基づいて、動的に特徴変換を調整するルーティング機構を採用する。
• ミニバッチ戦略を用いた学習で、スケール正規化された基準特徴を用い、グローバル平均プーリングによりチャネルレベルの効果を分離する。
• サブネットワークは、異なるスケールからの特徴と基準スケールとの間の平均二乗誤差（RMSE）を最小化するように学習され、一貫性を促進する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み特徴のアクティベーションは、異なる入力スケールでどのように変化するのか。また、そのスケールに起因する分布シフトの性質は何か。
• RQ2 空間的文脈を無視してチャネル間の関係のみをモデル化することで、スケール関連の特徴差を効果的に低減できるか。
• RQ3 スケール不変特徴表現は、VOC PASCAL や MS COCO のようなマルチスケールデータセットにおいて、どれほど検出精度を向上させられるか。
• RQ4 提案された SAN モジュールは、R-FCN や Deformable R-FCN といった異なる検出器アーキテクチャにどれほど一般化できるか。
• RQ5 パフォーマンスと効率性のバランスを最適化するには、プーリング戦略とミニバッチサイズの最適な設定は何か。

主な発見

• SAN は、異なるスケールからの特徴と基準スケールとの間の平均二乗誤差（RMSE）を低減し、スケールに起因する特徴変動の効果的な抑制を示した。
• PASCAL VOC 2007 テストセットでは、SAN を搭載した R-FCN が 80.57% の mAP を達成し、ベースラインの R-FCN（79.37% mAP）より 1.2% 向上した。
• MS COCO では、SAN を搭載した Deformable R-FCN が COCO スタイル mAP 39.7% を達成し、ベースラインの Deformable R-FCN より 2.1% 向上した。
• 平均プーリングのバリエーションが最大プーリングを上回り、VOC PASCAL で 80.57% mAP 対 80.35% mAP を記録した。
• SAN の学習に最適なミニバッチサイズは、1 パartition あたり 16 サンプルであり、精度と計算コストのバランスを最適に保った。
• チャネルアクティベーションマトリクスによる可視化により、SAN が VOC の全 21 クラスにわたり、スケール間の特徴差を効果的に低減していることが確認された。