[論文レビュー] Learning Region Features for Object Detection

Jiayuan Gu, Han Hu+3 more|arXiv (Cornell University)|Mar 19, 2018

Advanced Neural Network Applications参考文献 19被引用数 11

ひとこと要約

この論文は、ヒューリスティックなRoIプーリングを置き換える、完全にエンド・トゥ・エンドで学習可能な領域特徴抽出手法を提案する。幾何的および外観的ヒントを適応的に統合する、学習可能なアテンションベースの重み付け機構を採用しており、ResNet-101とFPNを用いたCOCO test-devで39.9のmAPを達成し、可変RoIプーリングを上回り、完全に微分可能なオブジェクト検出パイプラインへの移行を進める。

ABSTRACT

While most steps in the modern object detection methods are learnable, the region feature extraction step remains largely hand-crafted, featured by RoI pooling methods. This work proposes a general viewpoint that unifies existing region feature extraction methods and a novel method that is end-to-end learnable. The proposed method removes most heuristic choices and outperforms its RoI pooling counterparts. It moves further towards fully learnable object detection.

研究の動機と目的

• 現代のオブジェクト検出器における、手作業で設計された領域特徴抽出に依存し続ける問題に対処すること。特に、微分不能でヒューリスティックな性質を有するRoIプーリングの問題点に焦点を当てる。
• 幾何的および外観的特徴の両方を統合する、一様な数学的定式化に基づいて、既存の領域特徴抽出手法を統一すること。
• 固定グリッドや補間ルールを排除し、幾何的および外観ベースのアテンションを統合的にモデル化する、完全に学習可能なモジュールを開発すること。
• 空間的重みのエンド・トゥ・エンド学習が、検出精度の向上とオブジェクトマスクとの整合性の向上に寄与することを示すこと。

提案手法

• サポート領域内の画像特徴の重み付き和として領域特徴抽出を定式化し、重みは微分可能なアテンション機構によって学習する。
• RoIの位置 $ b $、画像特徴 $ \mathbf{x} $、空間的位置 $ p $ に依存する、学習可能な重み関数 $ w_k(b,p,\mathbf{x}) $ を導入する。
• RoIと画像位置間の空間的関係を符号化する、学習可能なネットワークを用いて幾何的アテンションをモデル化し、[13,12]のアイデアを踏襲する。
• 可変RoIプーリングの設計を参考に、入力特徴マップに対して1×1畳み込みを用いて外観ベースのアテンションを統合する。
• 計算コストを削減しながらも精度を維持するため、スパースサンプリング戦略を採用し、実用的導入を可能にする。
• 重みが空間的位置の確率分布として扱えるよう、合計が1に収まるように正規化制約を適用する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなRoIプーリングを学習可能なアテンション機構に置き換えることで、領域特徴抽出を完全にエンド・トゥ・エンド微分可能にすることができるか？
• RQ2 データから学習する空間的重みは、固定グリッドベースのプーリングに比べて検出性能を向上させるか？
• RQ3 学習された重みが実際にオブジェクトのフォアグラウンドとどの程度一致するかを評価し、暗黙のインスタンスセグメンテーション能力を示唆するか？
• RQ4 提案手法は、異なるバックボーンネットワークや検出フレームワーク（例：Faster R-CNN、FPN）に一般化可能か？

主な発見

• ResNet-101とFPNを用いたCOCO test-devで、mAPが39.9を達成。可変RoIプーリング（39.9 vs. 40.0）を上回り、新たなSOTAを樹立。
• ResNet-50を用いたFaster R-CNNでは、mAPが可変RoIプーリングの37.7から37.8に向上し、一貫した性能向上を示した。
• 定性的な分析から、学習後、重みがオブジェクトフォアグラウンドに集中しており、部位ごとに明確な空間的アテンションパターンが観察された。
• 定量的分析により、部位間の重みのKLダイバージェンスが学習中に増加することが確認され、部位が異なる空間領域に注目するよう学習されていることが示された。
• 部位ごとの重みマップを最大プーリングで集約した結果、真値のオブジェクトマスクと強く一致しており、学習過程でKLダイバージェンスが急速に減少した。
• スパースサンプリング実装を用いても、わずかな精度低下でSOTA性能を達成しており、計算的に実用的であることが示された。