[論文レビュー] Seeing What Is Not There: Learning Context to Determine Where Objects Are Missing

Jin Sun, David W. Jacobs|arXiv (Cornell University)|Feb 26, 2017

Video Surveillance and Tracking Methods参考文献 18被引用数 4

ひとこと要約

本稿では、明示的な欠落オブジェクトアノテーションがなくても、画像にオブジェクトが存在しない場合でも、どこにオブジェクトが欠落しているかを検出できる、オブジェクト中心のコンテキスト表現を学習する完全畳み込みニューラルネットワークを提案する。オブジェクトを無視するための暗黙的マスク学習で訓練することで、オブジェクトの位置を予測する確率ヒートマップを生成し、街路ビュー画像における欠落したカーブラムの27％のリCALLを達成した。これは高い効率性と、コンテキスト外のオブジェクト検出への一般化性能を兼ね備えている。

ABSTRACT

Most of computer vision focuses on what is in an image. We propose to train a standalone object-centric context representation to perform the opposite task: seeing what is not there. Given an image, our context model can predict where objects should exist, even when no object instances are present. Combined with object detection results, we can perform a novel vision task: finding where objects are missing in an image. Our model is based on a convolutional neural network structure. With a specially designed training strategy, the model learns to ignore objects and focus on context only. It is fully convolutional thus highly efficient. Experiments show the effectiveness of the proposed approach in one important accessibility task: finding city street regions where curb ramps are missing, which could help millions of people with mobility disabilities.

研究の動機と目的

• 正常なオブジェクトインスタンスの学習により、画像に存在しない場合でもオブジェクトが存在すべき場所を予測できる、効率的で独立型のコンテキストモデルを開発すること。
• 移動に制限のある人々のための重要なアクセシビリティ課題に対処し、都市部の街路環境における欠落したカーブラムを同定すること。
• 欠落または異常なインスタンスのラベル付き例が不要な、自動検出を可能にすること。
• コンテキスト学習をオブジェクト検出から分離し、標準のオブジェクト検出器とコンテキストモデルを新しいタスクに再利用可能にする。

提案手法

• 明示的なオブジェクトマスクが付与された画像でベースとなる畳み込みニューラルネットワークを訓練し、残りの画像領域からのコンテキストを学習する。
• 独創的な訓練戦略として、ネットワークがオブジェクトを無視し、純粋にコンテキスト特徴に集中するよう強制する暗黙的マスク予測ヘッドを導入する。
• モデルは完全畳み込み型であり、画像全体にわたる確率ヒートマップの高速かつ効率的な生成を可能にする。
• コンテキストスコアマップをオブジェクト検出器の出力と組み合わせることで、オブジェクトが欠落している領域（オブジェクトスコアが低く、コンテキストスコアが高い）を特定する。
• トレーニング中にハードネガティブマイニングを適用し、欠落オブジェクト領域の局在化を改善する。
• スコアしきい値の論理を逆転させることで、本手法をコンテキスト外のオブジェクト検出に適応する。

実験結果

リサーチクエスチョン

• RQ1 正常なオブジェクトインスタンスの学習にのみ依存する独立型コンテキストモデルが、明示的な欠落オブジェクトアノテーションがなくても、画像におけるオブジェクトの欠落場所を検出できるか？
• RQ2 暗黙的マスク学習が、CNNがオブジェクトを無視し、純粋にコンテキスト特徴に集中するように強制する効果は何か？
• RQ3 モデルアーキテクチャ（例：完全畳み込み型）が、欠落オブジェクト検出における推論速度と局在化精度に与える影響は何か？
• RQ4 同じコンテキストモデルが、体のない顔のようなコンテキスト外のオブジェクトを検出できるか？
• RQ5 大規模な都市部の街路ビュー画像データセットに適用した場合、リCALLと効率性の面で本手法はどのようにスケーリングするか？

主な発見

• 提案手法は、543の街路ビュー交差点において、真の欠落したカーブラム領域の27％を検出でき、スキャン対象を500領域に制限した状態で全欠落カーブラムの27％を特定した。
• ハードネガティブマイニングを適用したSFC（完全畳み込み型）ネットワークは、ランダムスコアや空間的プリオリマップといったベースライン手法を大きく上回り、特に小さな領域サイズで顕著な性能向上を示した。
• SFCネットワークは、100〜400ピクセルのさまざまな領域サイズにおいて一貫した性能を維持し、400ピクセルでは平均リCALLが21.8、200ピクセルでは24.1に達した。これは高い局在化精度を示している。
• 本システムは非常に効率的であり、1枚の画像についてコンテキストマップ生成に4秒、検出に22秒を要し、都市規模のスキャンを数時間で実施可能である。
• Wider Faceデータセットにおける予備の結果では、本手法が27のコンテキスト外の顔を検出できたのに対し、ランダムスコアでは14件にとどまり、一般化の可能性が示された。
• 本手法により、アクセシビリティ監査のためのスケーラブルで低コストな前処理が可能となり、手動ラベリングの必要性を減らし、物理的点検に優先的に対応すべき高影響度の都市交差点を特定できるようになった。