[論文レビュー] Generating Descriptions with Grounded and Co-Referenced People

Anna Rohrbach, Marcus Rohrbach+3 more|arXiv (Cornell University)|Apr 5, 2017

Multimodal Machine Learning Applications参考文献 57被引用数 16

ひとこと要約

本論文は、キャラクターの言及を動画クリップに位置付けるとともに、連続するクリップ間の視覚的共参照を注意メカニズムを用いて解消する共同動画記述モデルを提案する。この手法は、テキスト中のキャラクターの言及と視覚的トラックの間の自動抽出されたリンクによって監視される。この方法により、ベースラインと比較して記述品質と共参照解消の両方が著しく向上し、人間および自動評価においてMPII-MDデータセットで最先端の性能を達成した。

ABSTRACT

Learning how to generate descriptions of images or videos received major interest both in the Computer Vision and Natural Language Processing communities. While a few works have proposed to learn a grounding during the generation process in an unsupervised way (via an attention mechanism), it remains unclear how good the quality of the grounding is and whether it benefits the description quality. In this work we propose a movie description model which learns to generate description and jointly ground (localize) the mentioned characters as well as do visual co-reference resolution between pairs of consecutive sentences/clips. We also propose to use weak localization supervision through character mentions provided in movie descriptions to learn the character grounding. At training time, we first learn how to localize characters by relating their visual appearance to mentions in the descriptions via a semi-supervised approach. We then provide this (noisy) supervision into our description model which greatly improves its performance. Our proposed description model improves over prior work w.r.t. generated description quality and additionally provides grounding and local co-reference resolution. We evaluate it on the MPII Movie Description dataset using automatic and human evaluation measures and using our newly collected grounding and co-reference data for characters.

研究の動機と目的

• 連続するクリップ間の共参照を解消する動画記述を生成する課題に対処すること。
• 後処理ではなく、生成過程で視覚的位置付けと共参照解消を統合することで、記述品質を向上させること。
• 完全な手動アノテーションを一切用いずに、テキスト中のキャラクターの言及と視覚的トラックのみを用いて、弱教師付きのキャラクター位置付け学習法を開発すること。
• 名前（例：'Sophia'）や代名詞を用いて、クリップ間で一貫したキャラクターの参照を可能にすること。
• 今後の研究を支援するため、MPII-Movie Descriptionデータセットに新たなキャラクター位置付けと共参照のアノテーションを公開すること。

提案手法

• 2段階のクラスタリング手法を用いて、動画フレーム内の顔を検出し追跡することで、キャラクターの視覚的局所化を可能にする。
• 拡張された注目メカニズムにより、視覚的トラックの選択（位置付け）と前回のクリップへのリンク（共参照解消）を同時に学習する。
• テキスト中のキャラクターの言及と視覚的トラックの間の自動抽出されたリンクを用いて、モデルを監視する。
• 頭部領域からの統計的特徴とResNetからのアクティビティ特徴を用いることで、共参照解消と位置付けの精度を向上させる。
• 生成中に同時にキャラクターの局所化と共参照解消（代名詞や名前による参照）を実行するように、エンドツーエンドでモデルを学習する。
• アブレーションスタディの結果、位置付けと共参照の監視が性能に不可欠であり、追加の特徴（例：ResNet、アクティビティ）を導入することでさらなる性能向上が得られることを示した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのモデルは、高品質な動画記述を生成するとともに、キャラクターの言及を視覚的クリップに位置付け、連続するクリップ間の共参照を同時に解消できるか？
• RQ2 テキストの言及と視覚的トラックの間の自動抽出リンクによる弱教師付き監視は、共参照解消の向上にどの程度効果的か？
• RQ3 位置付けと共参照解消を同時に学習することで、後処理ベースラインと比較して記述品質が向上するか？
• RQ4 視覚的特徴（例：頭部統計、ResNet特徴）の導入が、位置付けと共参照性能に与える影響は？
• RQ5 特に大規模なテストセットにおいて、キャラクターが存在しないか、言及がないクリップに対しても、モデルは適切に対処できるか？

主な発見

• 提案手法はMPII-MDデータセットで最先端の性能を達成し、BLEU-4スコアが69.17、CIDErスコアが53.92と、すべてのベースラインを上回った。
• アブレーションスタディの結果、位置付けと共参照の監視を削除した場合（w/o α）に共参照F1が33.88から20.41に低下し、これらの監視が性能に不可欠であることが示された。
• 統計的特徴を削除した場合（w/o stat.feat.）に性能が低下したため、これらの特徴が正確な共参照解消に不可欠であることが示された。
• ResNetとアクティビティ特徴を含むモデルは、共参照で最高のF1スコア37.92を達成し、より豊かな視覚的特徴が性能向上に寄与することを示した。
• 自動で真値リンクを抽出する手法は高い信頼性を示し、手動アノテーションのサブセットで89.10%の正確性を達成し、堅牢な学習を可能にした。
• 全テストセットにおいて、すべてのメトリクスでベースラインを上回り、特にキャラクターが存在しないクリップの処理において顕著な優位性を示し、データ分布の変化に対しても頑健であることがわかった。