[論文レビュー] The Role of Context Selection in Object Detection

Ruichi Yu, Xi Chen+2 more|arXiv (Cornell University)|Sep 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 11

ひとこと要約

本稿では、ノイズの多い文脈的領域をフィルタリングし、情報量の多い領域に注目することで、オブジェクト検出を向上させるための領域ベースの文脈再スコアリング手法と動的文脈選択を提案する。支援的および反証的証拠に基づいて選択戦略を学ぶ潜在変数SVMを用いることで、外見情報のみの検出（45.47%）に対して2.8%のmAP向上（48.25%）を達成し、無差別な文脈利用ではなく、選択的文脈の重要性を示している。

ABSTRACT

We investigate the reasons why context in object detection has limited utility by isolating and evaluating the predictive power of different context cues under ideal conditions in which context provided by an oracle. Based on this study, we propose a region-based context re-scoring method with dynamic context selection to remove noise and emphasize informative context. We introduce latent indicator variables to select (or ignore) potential contextual regions, and learn the selection strategy with latent-SVM. We conduct experiments to evaluate the performance of the proposed context selection method on the SUN RGB-D dataset. The method achieves a significant improvement in terms of mean average precision (mAP), compared with both appearance based detectors and a conventional context model without the selection scheme.

研究の動機と目的

• 理論的な利点があるにもかかわらず、文脈がオブジェクト検出の性能向上にしばしば寄与しない理由を調査すること。
• 理想化されたオラクルによるラベル供給条件下で、文脈手がかりの予測能力を分離して評価すること。
• 情報量の多い文脈的領域を絞り込み、ノイズや無関係な領域を除外する動的選択手法を開発すること。
• すべての検出領域を無差別に使用するのではなく、選択的文脈証拠を用いてオブジェクト信頼度を再スコアリングすることで、検出精度を向上させること。
• 文脈の存在そのものではなく、文脈選択がオブジェクト検出における性能向上の鍵であることを実証すること。

提案手法

• 各潜在的文脈的領域に対して、文脈推論に使用すべきかどうかを示す潜在変数を導入し、選択の可否をモデル化する。
• 選択された領域から得られる『支持』上界（支援的証拠）と『反対』上界（反証的証拠）の二重スレッドによる信頼度推定を定式化する。
• ターゲットオブジェクトの信頼度スコアは、『支持』上界と『反対』上界の差分に基づいて再スコアリングされる。
• 選択戦略は、潜在変数を扱う潜在変数SVMを用いて学習され、検出と文脈選択を同時に最適化する。
• モデルはSUN RGB-Dデータセット上で学習・評価され、シミュレーションでは文脈的オブジェクトの真値ラベルが使用され、実際の検出結果が評価に用いられる。
• 本手法は、強固で信頼性の高い証拠を提供する領域を強調することで、オブジェクト検出の信頼度を動的に再スコアリングする。

実験結果

リサーチクエスチョン

• RQ1 理論的に有益であるにもかかわらず、なぜ文脈がしばしばオブジェクト検出性能を向上させないのか？
• RQ2 どの文脈的オブジェクトカテゴリが、特定のターゲットオブジェクトクラスを予測するのに最も予測力を持つのか？また、その予測力はどのように変動するか？
• RQ3 現実世界の検出シナリオにおいて、ナーバルな「すべて選択」モデルに比べ、動的文脈選択機構が優れているか？
• RQ4 外見ベースの検出器と組み合わせた場合、文脈選択はどの程度mAPを向上させるか？
• RQ5 学習された文脈選択モデルは、すべての真の陽性文脈的領域を把握するオラクルが提供する性能上限にどの程度近づけるか？

主な発見

• オラクルが提供するラベルを理想化された設定で使用した場合、純粋な文脈情報のみで高い予測精度が達成され、文脈が強い固有の予測力を持っていることを示している。
• 異なるオブジェクトカテゴリは、ターゲットオブジェクトクラスを予測する能力において顕著な差異を示しており、一部（例：ピローに対するベッド、ソファ）は非常に情報量が多く、他（例：ボックス、写真）は情報量がなく、あるいは誤解を招くことがある。
• 提案手法の文脈選択モデルは、SUN RGB-Dテストセットで48.25%のmAPを達成し、外見情報のみの検出（45.47%）に対して2.8%の向上を示した。
• オラクルベースの文脈選択モデル（CS-O）は49.43%のmAPを達成し、上界としての役割を果たしており、提案手法はこの性能に近く近づいている。
• モデルは情報量の多い領域を高い正確性で選択している：ピローの場合は選択された文脈的オブジェクトの92%が真陽性（例：ベッド、ソファ）であり、本棚の場合は97%が真陽性（例：机、テーブル）である。
• 可視化により、モデルがピローに対してベッドやソファといった関連性の高い高証拠領域を選択し、ボックスや写真のような干渉要因は除外していることが確認された。