[論文レビュー] Crafting GBD-Net for Object Detection

Xingyu Zeng, Wanli Ouyang+10 more|arXiv (Cornell University)|Oct 8, 2016

Advanced Neural Network Applications参考文献 47被引用数 24

ひとこと要約

本論文では、オブジェクト検出における局所的および文脈的視覚パターンを共同で検証するために、マルチスケールのサポート領域間での特徴メッセージ伝達を可能にするゲート付き双方向畳み込みニューラルネットワーク（GBD-Net）を提案する。入力に依存する証拠に基づいてメッセージ伝達を制御する学習可能なゲートを用いることで、特徴表現が向上し、モデルアンサンブルによりImageNetの検証セットで68%のmAPを達成し、先行手法を上回った。

ABSTRACT

The visual cues from multiple support regions of different sizes and resolutions are complementary in classifying a candidate box in object detection. Effective integration of local and contextual visual cues from these regions has become a fundamental problem in object detection. In this paper, we propose a gated bi-directional CNN (GBD-Net) to pass messages among features from different support regions during both feature learning and feature extraction. Such message passing can be implemented through convolution between neighboring support regions in two directions and can be conducted in various layers. Therefore, local and contextual visual patterns can validate the existence of each other by learning their nonlinear relationships and their close interactions are modeled in a more complex way. It is also shown that message passing is not always helpful but dependent on individual samples. Gated functions are therefore needed to control message transmission, whose on-or-offs are controlled by extra visual evidence from the input sample. The effectiveness of GBD-Net is shown through experiments on three object detection datasets, ImageNet, Pascal VOC2007 and Microsoft COCO. This paper also shows the details of our approach in wining the ImageNet object detection challenge of 2016, with source code provided on \url{https://github.com/craftGBD/craftGBD}.

研究の動機と目的

• マルチスケールのサポート領域からの補完的視覚信号を活用することで、オブジェクト検出における局所的ヒントの不足や曖昧な隠蔽の課題に対処すること。
• 深層畳み込みニューラルネットワークにおける双方向メッセージ伝達を通じて、局所的および文脈的特徴の相互検証をモデル化すること。
• 入力に依存する視覚的証拠に基づいてメッセージ伝送を動的に制御する学習可能なゲーティング機構を導入すること。
• ImageNet、Pascal VOC2007、COCOといった大規模ベンチマークでの検出精度の向上を図ること。
• さまざまなネットワークアーキテクチャーや層に適用可能な汎用的なモジュールを提供すること、特徴学習の強化を目的とする。

提案手法

• GBD-Netは、異なるサイズのサポート領域からの特徴間で双方向の畳み込みメッセージ伝達を実施し、特徴の双方向的相互作用を可能にする。
• メッセージ伝達は、複数のネットワーク深さにおける隣接するサポート領域間のクロスレイヤー畳み込みによって実装される。
• メッセージの送信を制御する学習可能なゲート機構を採用し、ゲート値は入力サンプルからの視覚的証拠によって決定される。
• ゲート関数は、局所的および文脈的領域からの特徴を処理する小さな畳み込みブランチを用いて計算される。
• アーキテクチャはモジュール型であり、CNN内の任意の畳み込み層の後に挿入可能で、さまざまなバックボーンネットワークと互換性を持つ。
• 本手法は標準の検出損失を用いてエンドツーエンドで訓練され、推論時にはマルチスケールテストおよびフリップ増強を含むテスト時増強が用いられる。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴間の双方向メッセージ伝達により、局所的および文脈的特徴が互いに検証可能となることで、オブジェクト検出性能が向上するか？
• RQ2 学習可能なゲート機構の導入が、複雑なシーンにおけるメッセージ伝送および検出精度に与える影響はいかほどか？
• RQ3 GBD-Netは、大規模検出において背景の混同やオブジェクトの混同によって生じる誤検出をどの程度低減できるか？
• RQ4 メッセージ伝達の有効性は、異なるオブジェクトカテゴリーや画像インスタンスによって変化するか？
• RQ5 GBD-Netは、アーキテクチャの再設計を伴わずに、さまざまなバックボーンネットワークや検出フレームワークに一般化可能か？

主な発見

• GBD-Netを適用することで、ベースラインのResNet-269のmAP 56.6%から58.8%に向上し、双方向的特徴相互作用の有効性が示された。
• Craft-V2からCraft-V3の領域提案に切り替えることで、mAPは60.7%に上昇し、より優れた領域提案品質の影響が確認された。
• マルチスケールテストによりmAPが1.3ポイント向上し、左右反転増強により0.7ポイント向上した。
• ボクシングボイスとNMS閾値の調整（0.3から0.4に変更）は、それぞれ1.3ポイントおよび0.4ポイントのmAP向上をもたらした。
• 6つの多様なモデルからなる最終的なモデルアンサンブルは、ImageNetのval2スプリットで68%のmAPを達成し、2016年ImageNet検出チャレンジで優勝した。
• 誤検出の分析から、背景の混同が主な誤り要因である（大多数）ことが示され、文脈モデリングの向上がこうした誤りの低減に寄与していることが示唆された。