[論文レビュー] What You See is What You Get: Visual Pronoun Coreference Resolution in Dialogues

Xintong Yu, Hongming Zhang+3 more|arXiv (Cornell University)|Sep 1, 2019

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、会話における視覚的代名詞共参照解消（PCR）のための大規模データセット VisPro を紹介するとともに、視覚的および文脈的情報を統合的に活用する視覚認識モデル VisCoref を提案する。実験の結果、視覚的グランドイングを組み込むことで、特に参照対象が文章中に言及されていない場合に PCR の性能が顕著に向上することが示された。

ABSTRACT

Grounding a pronoun to a visual object it refers to requires complex reasoning from various information sources, especially in conversational scenarios. For example, when people in a conversation talk about something all speakers can see, they often directly use pronouns (e.g., it) to refer to it without previous introduction. This fact brings a huge challenge for modern natural language understanding systems, particularly conventional context-based pronoun coreference models. To tackle this challenge, in this paper, we formally define the task of visual-aware pronoun coreference resolution (PCR) and introduce VisPro, a large-scale dialogue PCR dataset, to investigate whether and how the visual information can help resolve pronouns in dialogues. We then propose a novel visual-aware PCR model, VisCoref, for this task and conduct comprehensive experiments and case studies on our dataset. Results demonstrate the importance of the visual information in this PCR case and show the effectiveness of the proposed model.

研究の動機と目的

• 会話における視覚的共参照が理解に不可欠な状況下で、視覚的代名詞共参照解消（PCR）のタスクを形式化すること。
• 画像支援会話における PCR に特化した、初めての大規模データセットである VisPro を作成すること。VisPro には 5,000 件の会話からなる 29,722 個の代名詞が含まれる。
• 会話の言及を視覚的対象と一致させ、文脈的特徴と視覚的特徴を統合する新しい視覚認識モデル VisCoref を開発すること。
• 参照対象が会話本文に明示的に言及されていない場合に、視覚的情報がいかに共参照解消に重要であるかを実証すること。

提案手法

• VisCoref モデルは二重ストリームアーキテクチャを採用している。一方のストリームは BERT を用いて文脈的エンコーディングを処理し、もう一方は CNN を用いて視覚的特徴を処理し、物体検出と埋め込みを実行する。
• 学習されたアテンションメカニズムを用いて、会話内の名詞句と画像内の検出された物体との間でクロスモーダル整合性を実現する。
• 文脈的および視覚的表現を重み付き和による後期統合戦略で統合し、視覚的損失重み ($\lambda_{vis}$) を 0.4 に最適化することで、モダリティ間の寄与をバランスさせる。
• ネガティブサンプリングを用いて一般化性能を向上させるように、候補となる言及の上でのクロスエントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• データセット作成プロセスでは、VisDial から会話を選定し、Stanford Parser を用いて名詞句を抽出し、人間のアノテーターが代名詞と視覚的対象を対応付ける。
• 後処理により、候補となる言及に重複がないことを保証し、文法的制約を用いてアノテーションの一貫性を強制する。

実験結果

リサーチクエスチョン

• RQ1 参照対象が文章中に言及されていない会話において、視覚的情報が代名詞共参照解消の性能を顕著に向上させることができるか？
• RQ2 視覚的および文脈的特徴の統合が、会話設定における共参照解消モデルの性能に与える影響は何か？
• RQ3 複数の候補が存在するような曖昧な代名詞（例：'it' や 'they'）を解消する際、視覚的グランドイングが果たす影響は何か？
• RQ4 提案された VisCoref モデルは、従来の文脈のみに依存するモデルに比べて、視覚的 PCR でどの程度優れているか？
• RQ5 人間がアノテートした視覚的参照と、モデルの予測結果との間で、一致精度および一貫性の点でどの程度の差があるか？

主な発見

• VisCoref モデルは、文脈のみのベースラインに比べて F1 スコアで顕著な向上を示し、曖昧な代名詞を解消するにあたり視覚的グランドイングの有効性を実証した。
• 事例研究では、会話本文に言及のない像などに 'it' を正しく対応付けるなど、参照対象が会話に存在しない場合でも、VisCoref が視覚的対象に代名詞を正しく結びつけることを示した。
• 視覚的情報が解消に不可欠な 68% のケースで、VisCoref はエンドツーエンドベースラインを上回った。これは視覚的整合性の価値を強力に示している。
• アブレーションスタディの結果、視覚的特徴は文脈的特徴のみに比べて、特に語彙的曖昧性が高いケースでより大きな寄与をしていることが確認された。
• VisPro データセットには 5,000 件の会話にまたがる 29,722 個の代名詞アノテーションが含まれており、そのうち 38% が会話本文に明示的に言及されていない対象を指している。これは視覚的グランドイングの必要性を裏付けている。
• 視覚的信号と文脈的信号の最適なバランスは $\lambda_{vis} = 0.4$ で達成され、視覚データに過剰に適合するのを防ぎつつ、性能を最大化している。