[論文レビュー] Discover and Learn New Objects from Documentaries

Kai Chen, Hang Song+2 more|arXiv (Cornell University)|Jul 30, 2017

Multimodal Machine Learning Applications参考文献 42被引用数 4

ひとこと要約

本論文は、任意のアノテート済みバウンディングボックスを一切用いずに、視覚的、言語的、幾何的特徴を統合的にモデル化することで、ドキュメンタリー映像からオブジェクト検出器を学習する弱教師付きフレームワークを提案する。反復的最適化を通じて、オブジェクトカテゴリの発見、トラックレットのグループ化、検出性能の向上を実現し、発見されたカテゴリで30.7%のmAPを達成し、主要クラスでは完全教師あり学習と同等の結果を得た。

ABSTRACT

Despite the remarkable progress in recent years, detecting objects in a new context remains a challenging task. Detectors learned from a public dataset can only work with a fixed list of categories, while training from scratch usually requires a large amount of training data with detailed annotations. This work aims to explore a novel approach -- learning object detectors from documentary films in a weakly supervised manner. This is inspired by the observation that documentaries often provide dedicated exposition of certain object categories, where visual presentations are aligned with subtitles. We believe that object detectors can be learned from such a rich source of information. Towards this goal, we develop a joint probabilistic framework, where individual pieces of information, including video frames and subtitles, are brought together via both visual and linguistic links. On top of this formulation, we further derive a weakly supervised learning algorithm, where object model learning and training set mining are unified in an optimization procedure. Experimental results on a real world dataset demonstrate that this is an effective approach to learning new object detectors.

研究の動機と目的

• 高価なバウンディングボックスアノテーションが一切ない状態で、新しいカテゴリのオブジェクト検出器を訓練する課題に対処すること。
• オブジェクト検出のための視覚的・言語的情報の豊富な弱教師付きソースとしてドキュメンタリー映像を活用することの可能性を探ること。
• 外見、幾何、およびグランドティング要因を統合した統合確率的フレームワークを構築し、オブジェクトカテゴリの発見、トラックレット検出、無教師での検出器学習を実現すること。
• オブジェクトモデル学習とトレーニングセットマイニングを1つの最適化手順に統合し、反復的に検出性能を向上させること。

提案手法

• 外見、幾何、グランドティング要因を統合した統合確率的モデルを定式化し、視覚フレーム、字幕、オブジェクトトラックレットを結びつける。
• コアファレンス解決を用いて、複数のフレームおよび字幕間で同じ視覚的実体を示す代名詞や類義語を関連付ける。
• 視覚埋め込みを用いて外見類似度をモデル化し、トラックレットを一貫性のあるオブジェクトカテゴリにグループ化する。
• 空間的・時間的整合性に基づき、トラックレットを統合するための幾何的ポテンシャルを適用し、強固なリンクと弱いリンクを区別する。
• 言語的および視覚的情報を用いて、キーワード（名詞）を視覚的トラックレットに関連付けるグランドティング要因を導入する。
• オブジェクト検出、トラックレットグループ化、キーワードグランドティングを同時に反復的に最適化することで、反復回数を重ねるごとにモデルの精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 任意の人的アノテート済みバウンディングボックスやカテゴリ事前知識が一切ない状態で、ドキュメンタリー映像からオブジェクト検出器を学習できるか？
• RQ2 視覚的および言語的情報を効果的に一致させることで、オブジェクトカテゴリとそれに対応するトラックレットをどのように発見できるか？
• RQ3 外見、幾何、グランドティング要因を統合した統合確率的フレームワークは、弱教師付きオブジェクト検出をどの程度向上できるか？
• RQ4 検出、グループ化、グランドティングの反復的精錬は、未知のカテゴリにおける検出性能をどの程度向上させるか？

主な発見

• 本フレームワークは、オブジェクトカテゴリに関する事前知識なしに、野生動物ドキュメンタリーにおけるほとんどの動物カテゴリを効果的に発見できた。
• 反復的トレーニングの結果、発見されたカテゴリのmAPが20.6%から30.7%に向上し、自己改善の有効性が示された。
• 全カテゴリにわたる検出mAPは8.0%から8.7%に上昇し、統合学習による一貫性のある向上が確認された。
• グランドティングモジュールは、単語カウントベースラインを著しく上回り、反復2回目時点で正解ラベルで93.5%の精度を達成した。
• 特に強固なリンクを含む幾何的ポテンシャルは、断片的なトラックレットを一貫性のあるオブジェクト軌道に統合するのに有効であった。
• 失敗事例の主な原因は、小さな/隠れがかりのオブジェクト、tf-idf値が低いキーワード、または字幕とフレームの不整合であった。