[論文レビュー] Structure Inference Net: Object Detection Using Scene-Level Context and Instance-Level Relationships

Yong Liu, Ruiping Wang+2 more|arXiv (Cornell University)|Jun 30, 2018

Advanced Neural Network Applications参考文献 35被引用数 24

ひとこと要約

本論文は、グラフベースの構造推論機構を用いて、シーンレベルの文脈とインスタンスレベルのオブジェクト関係の両方をモデル化することで、検出精度を向上させる新しいオブジェクト検出フレームワーク、Structure Inference Network (SIN) を提案する。SIN は、シーン文脈および関係的近傍オブジェクトからのメッセージを用いてオブジェクト状態を更新するゲート付き再帰ユニット（GRUs）を統合し、PASCAL VOC および MS COCO で最先端の性能を達成する。VOC 2007 では平均プーリングアンサンブルを用いて 70.5% の mAP を達成し、リコールを損なわず、精度を向上させた。

ABSTRACT

Context is important for accurate visual recognition. In this work we propose an object detection algorithm that not only considers object visual appearance, but also makes use of two kinds of context including scene contextual information and object relationships within a single image. Therefore, object detection is regarded as both a cognition problem and a reasoning problem when leveraging these structured information. Specifically, this paper formulates object detection as a problem of graph structure inference, where given an image the objects are treated as nodes in a graph and relationships between the objects are modeled as edges in such graph. To this end, we present a so-called Structure Inference Network (SIN), a detector that incorporates into a typical detection framework (e.g. Faster R-CNN) with a graphical model which aims to infer object state. Comprehensive experiments on PASCAL VOC and MS COCO datasets indicate that scene context and object relationships truly improve the performance of object detection with more desirable and reasonable outputs.

研究の動機と目的

• 局所的な外観に依存するオブジェクト検出器の限界を是正するため、より上位レベルの文脈的情報を統合すること。
• シーンレベルの文脈とインスタンスレベルのオブジェクト関係の両方をモデル化することで、検出精度と頑健性を向上させること。
• グラフベースのメッセージパッシングを用いて、オブジェクト検出を構造的推論問題として定式化すること。
• Faster R-CNN などの既存の検出器を文脈的推論によって強化できる、フレームワークに依存しない柔軟なモジュールを開発すること。
• シーンと関係的文脈を統合的に活用することで、より正確で信頼性の高い検出出力を得られることを検証すること。

提案手法

• 本手法は、オブジェクトをノード、関係性をエッジとするグラフ構造の推論問題としてオブジェクト検出を定式化する。
• ゲート付き再帰ユニット（GRUs）をメモリセルとして用い、シーン文脈および隣接オブジェクトからのメッセージを用いてオブジェクト状態を符号化・更新する構造推論ネットワーク（SIN）を導入する。
• 各 GRU の入力には、初期オブジェクト特徴量、シーンレベルの文脈埋め込み、および他のオブジェクトからの関係的メッセージが含まれ、マルチモーダルなメッセージパッシングを可能にする。
• 二つの別々のモジュールを用いる：シーン文脈用のモジュール（Scene モジュール）とオブジェクト関係用のモジュール（Edge モジュール）。各モジュールが GRU を用いたメッセージパッシングによりオブジェクト状態を更新する。
• 最終的なオブジェクト状態は、二つのモジュールの平均プーリングによるアンサンブルによって得られ、これが最良の性能を示した。
• SIN モジュールに最終分類器ヘッドを置き換えることで、Faster R-CNN などの既存の二段階検出器と互換性があり、プラグアンドプレイが可能である。

実験結果

リサーチクエスチョン

• RQ1 シーンレベルの文脈とインスタンスレベルの関係性を同時にモデル化することで、オブジェクト検出性能が向上するか？
• RQ2 構造的文脈的情報を統合することで、検出精度と局所化精度にどのような影響を与えるか？
• RQ3 ディープラーニングベースの検出フレームワークにおいて、シーン文脈とオブジェクト関係信号を最適に融合する方法は何か？
• RQ4 GRUs を用いたグラフベースのメッセージパッシングを用いることで、より一貫性があり意味的に意味のあるオブジェクト予測が得られるか？
• RQ5 異なるアンサンブル戦略およびメッセージパッシングのステップ数は、最終的な検出性能にどのように影響するか？

主な発見

• 平均プーリングアンサンブルとメッセージパッシングに 2 ステップを用いた場合、PASCAL VOC 2007 テストセットで 70.5% の mAP を達成した。
• ベースラインの Faster R-CNN と比較して、リコールはほぼ同等を維持しながらも、精度が向上しており、より正確で自信のある予測が得られていることが示された。
• Edge モジュール（オブジェクト関係をモデル化）は、たとえばラップトップの近くにマウスが共存するような状況で、特に局所化精度を顕著に向上させた。
• Scene モジュールは、川の風景におけるボートなど、シーン文脈と強く関連するカテゴリの検出性能を向上させ、誤分類エラーを低減した。
• メッセージパッシングに 2 ステップを超える回数を用いると、グラフ内でのノイズ蓄積のため性能が低下する傾向にあった。
• 可視化結果から、モデルが人間とテニスラケット、人間とフラッグドリフトの間で高い関係的注目度を学習し、意味的に意味のある関係性を有するオブジェクト同士を接続していることが確認された。