[論文レビュー] Searching for Ambiguous Objects in Videos using Relational Referring Expressions

Hazan Anayurt, Sezai Artun Ozyegin+3 more|arXiv (Cornell University)|Aug 3, 2019

Multimodal Machine Learning Applications参考文献 17被引用数 6

ひとこと要約

本論文は、極めて曖昧な設定における動画オブジェクト検索を目的とした、関係的参照表現を用いた新しいデータセットとディープラーニングフレームワークであるVIREFを紹介する。関係的記述の生成と理解を同時に実行するアテンションベースのエンコーダデコーダLSTMモデルを提案し、生成（BLEU-4: 0.2365、METEOR: 0.5492）および理解（mAP: 0.65、ランク1正答率: 0.47）の両面でベースラインを上回る結果を得た。

ABSTRACT

Humans frequently use referring (identifying) expressions to refer to objects. Especially in ambiguous settings, humans prefer expressions (called relational referring expressions) that describe an object with respect to a distinguishing, unique object. Unlike studies on video object search using referring expressions, in this paper, our focus is on (i) relational referring expressions in highly ambiguous settings, and (ii) methods that can both generate and comprehend a referring expression. For this goal, we first introduce a new dataset for video object search with referring expressions that includes numerous copies of the objects, making it difficult to use non-relational expressions. Moreover, we train two baseline deep networks on this dataset, which show promising results. Finally, we propose a deep attention network that significantly outperforms the baselines on our dataset. The dataset and the codes are available at https://github.com/hazananayurt/viref.

研究の動機と目的

• 同じオブジェクトカテゴリの複数のインスタンスが存在する極めて曇った状況における動画オブジェクト検索の課題に対処すること。
• 動画における関係的参照表現の生成と理解の両方を同時に実行できる統合型ディープラーニングフレームワークの開発。
• ターゲットオブジェクトを文脈オブジェクトに対して明示的に記述する関係的参照表現を含む新しいデータセットの作成により、現実性と複雑性を向上させること。
• オブジェクト間の関係をモデル化するためのアテンション機構を導入することで、動画ベースの参照表現タスクのパフォーマンスを向上させること。
• 動画シーケンス内のオブジェクト間の空間的・意味的・動的関係に依存する表現の生成と理解を可能にする。

提案手法

• VIRATおよびILSVRC2015の動画データセットから関係的参照表現を収集し、高いオブジェクト曇りが見られるシーンに注目して、新しいデータセットVIREFを構築する。
• 生成と理解の両タスクに共通のパラメータを共有するエンコーダデコーダLSTMアーキテクチャに基づく二重タスクモデルを設計する。
• デコーディング中に主オブジェクトおよび文脈オブジェクトの関連する特徴に動的にアテンションを向ける機構を実装し、文脈理解を向上させる。
• 視覚的表現として、動画フレームから抽出したVGG-16特徴を入力埋め込みとし、オブジェクトレベルの特徴およびアクション埋め込みを組み合わせる。
• 生成タスクには交差エントロピー損失、理解タスクにはコントラスト型ランク損失を用い、両タスクを同時に最適化するエンドツーエンドの学習を実施する。
• 3つの変種を導入：VIREF-e（全結合エンコーダ）、VIREF-a（アテンションベースエンコーダ）、およびVIREF（アテンションを備えたフルモデル）として、アブレーションと比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統合型ディープラーニングモデルは、曇った動画シーンにおける関係的参照表現の生成と理解を効果的に行えるか？
• RQ2 オブジェクトペアに対するアテンションを組み込むことで、ベースラインモデルと比較して動画ベースの参照表現タスクのパフォーマンスがどの程度向上するか？
• RQ3 ターゲットオブジェクトを文脈オブジェクトに対して記述する関係的表現を用いることで、高い曇り下での動画オブジェクト検索の正確性はどの程度向上するか？
• RQ4 異なるエンコーダアーキテクチャ（例：全結合型対アテンションベース型）は、生成および理解のパフォーマンスにどのような影響を与えるか？
• RQ5 トレーニングデータの多様性および言語的多様性は、動画における参照表現モデルの一般化能力にどのような影響を与えるか？

主な発見

• 提案されたVIREFモデルは、生成および理解の両タスクで最高のパフォーマンスを達成し、すべての指標で2つのベースラインモデルを上回った。
• テストセットでは、VIREFはBLEU-4スコア0.2365およびMETEORスコア0.5492を達成し、VIREF-e（BLEU-4: 0.1197）およびVIREF-a（BLEU-4: 0.1498）を顕著に上回った。
• 理解タスクでは、VIREFはmAP 0.65およびランク1正答率0.47を達成し、VIREF-e（mAP: 0.55、ランク1: 0.35）およびVIREF-a（mAP: 0.46、ランク1: 0.26）を上回った。
• モデルのアテンション機構は、デコーディング中に関連する視覚的および言語的特徴に動的に焦点を当てるため、パフォーマンスの向上に顕著な寄与を示した。
• 語彙の多様性が高かっただけでなく、VIREF-eは意味的に乏しい表現を生成したため、BLEUおよびMETEORスコアに悪影響を及ぼした。これは、語彙の多様性と意味的正確性の間のトレードオフを示している。
• モデルは優れた一般化能力を示し、フルVIREFアーキテクチャはパフォーマンス、パラメータ効率、推論速度（生成：平均1.403秒、理解：平均0.252秒）のバランスが最良であった。