[論文レビュー] Window-Object Relationship Guided Representation Learning for Generic Object Detections

Xingyu Zeng, Wanli Ouyang+1 more|arXiv (Cornell University)|Dec 9, 2015

Advanced Neural Network Applications参考文献 24被引用数 7

ひとこと要約

本論文は、相対的位置、スケール、隣接するオブジェクトといったウィンドウ-オブジェクト関係を教師信号として活用することで、汎用オブジェクト検出の表現学習フレームワークを提案する。これらの関係に基づいて候補ウィンドウをクラスタリングし、マルチスケール・マルチ回転の文脈的領域を用いて訓練することで、ILSVRC2014でmAPが6.4%向上し、ILSVRC2014テストセットでは48.6%のmAPを達成し、先行する最先端モデルを上回る性能を示した。

ABSTRACT

In existing works that learn representation for object detection, the relationship between a candidate window and the ground truth bounding box of an object is simplified by thresholding their overlap. This paper shows information loss in this simplification and picks up the relative location/size information discarded by thresholding. We propose a representation learning pipeline to use the relationship as supervision for improving the learned representation in object detection. Such relationship is not limited to object of the target category, but also includes surrounding objects of other categories. We show that image regions with multiple contexts and multiple rotations are effective in capturing such relationship during the representation learning process and in handling the semantic and visual variation caused by different window-object configurations. Experimental results show that the representation learned by our approach can improve the object detection accuracy by 6.4% in mean average precision (mAP) on ILSVRC2014. On the challenging ILSVRC2014 test dataset, 48.6% mAP is achieved by our single model and it is the best among published results. On PASCAL VOC, it outperforms the state-of-the-art result of Fast RCNN by 3.3% in absolute mAP.

研究の動機と目的

• IOUしきい値による簡略化によって空間的・スケール的文脈が失われる、従来のオブジェクト検出手法の限界を是正すること。
• 相対的位置、スケール、周囲のオブジェクトといった細分化されたウィンドウ-オブジェクト関係を教師信号に組み込むことで、表現学習を向上させること。
• クラスタリングとマルチスケール・マルチ回転のデータ拡張を用いた文脈的関係のモデリングが、特徴の識別性と検出精度を向上させることを実証すること。

提案手法

• 本手法は、各候補ウィンドウをその真値オブジェクトに対する相対的位置・スケールに基づいてサブクラスに割り当てる、ウィンドウ-オブジェクト関係を教師信号として用いる表現学習パイプラインを導入する。
• 類似したウィンドウ-オブジェクト関係を持つ候補ウィンドウをクラスタリングすることで、各クラスタ内で一貫性があり分離された特徴を学習可能にする。
• 各クラスタに対して、相対的変位およびスケール変動を予測する専用の回帰器を設け、局所化精度と表現品質を向上させる。
• マルチスケールおよびマルチ回転のデータ拡張を統合し、各候補ウィンドウを複数の設定で切り出し・回転させることで、多様な文脈的構成を捉える。
• ネットワークは、各クラスタ内でクラスタラベルと相対ボクシングボックス回帰を同時に予測する二重ストリームの目的関数を用いて訓練される。
• 本手法は、他のカテゴリの隣接オブジェクトとの関係をモデル化するように拡張され、画像領域自体からの文脈的教師信号がさらに豊かになる。

実験結果

リサーチクエスチョン

• RQ1 IOUしきい値による簡略化を越えて、詳細なウィンドウ-オブジェクト関係を組み込むことで、オブジェクト検出の表現学習が向上するか？
• RQ2 相対的位置・スケールに基づいて候補ウィンドウをクラスタリングすることは、一様な分類と比較してより識別性の高い特徴学習をもたらすか？
• RQ3 マルチスケールおよびマルチ回転のデータ拡張が、オブジェクト検出における文脈的関係の捉え方をどの程度向上させるか？
• RQ4 他のカテゴリの周囲のオブジェクトとの関係をモデル化することで、さらに特徴表現が向上するか？
• RQ5 ベンチマークデータセットにおいて、Fast R-CNN や GoogleNet といった最先端手法と比較して、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、ベースライン手法と比較して、ILSVRC2014バリデーションセットで平均平均精度（mAP）を6.4%向上させた。
• ILSVRC2014テストセットでは、単一モデルで48.6%のmAPを達成し、研究時における最高の公表結果であった。
• PASCAL VOC 2007では、VOC07およびVOC12のトレインバリデーションセットを併用して学習した場合、Fast R-CNNを3.3%の絶対的なmAP向上で上回った。
• ウィンドウ-オブジェクト関係のクラスタリングを用いることで、Fast R-CNNベースラインと比較してmAPが1.2%向上し、構造的教師信号の有効性を示した。
• 各スケールごとに異なるネットワークパラメータを用いたマルチスケール特徴学習は、共有パラメータと比較してmAPを3.4%向上させ、スケール固有の表現学習の利点を示した。
• 回転拡張を組み込むことで、単一スケール学習ではmAPが2.0%向上し、マルチスケールでは0.3%向上した。これは、空間不変性を捉えるために回転拡張が有効であることを確認した。