[論文レビュー] OpenViDial: A Large-Scale, Open-Domain Dialogue Dataset with Visual Contexts

Yuxian Meng, Shuhe Wang+5 more|arXiv (Cornell University)|Dec 30, 2020

Multimodal Machine Learning Applications参考文献 107被引用数 18

ひとこと要約

OpenViDialは、映画やテレビドラマから抽出した視覚的情報を併せ持つ110万件の会話ターンを含む大規模なオープンドメイン会話データセットを提供する。視覚的文脈を会話生成に統合することで、文脈的かつ視覚的に根拠のある応答を生成するマルチモーダルモデルの学習が可能となり、従来のテキスト中心の会話システムに欠ける点を補完する。

ABSTRACT

When humans converse, what a speaker will say next significantly depends on what he sees. Unfortunately, existing dialogue models generate dialogue utterances only based on preceding textual contexts, and visual contexts are rarely considered. This is due to a lack of a large-scale multi-module dialogue dataset with utterances paired with visual contexts. In this paper, we release {\bf OpenViDial}, a large-scale multi-module dialogue dataset. The dialogue turns and visual contexts are extracted from movies and TV series, where each dialogue turn is paired with the corresponding visual context in which it takes place. OpenViDial contains a total number of 1.1 million dialogue turns, and thus 1.1 million visual contexts stored in images. Based on this dataset, we propose a family of encoder-decoder models leveraging both textual and visual contexts, from coarse-grained image features extracted from CNNs to fine-grained object features extracted from Faster R-CNNs. We observe that visual information significantly improves dialogue generation qualities, verifying the necessity of integrating multi-modal features for dialogue learning. Our work marks an important step towards large-scale multi-modal dialogue learning.

研究の動機と目的

• マルチモーダル会話エージェントの学習に適した、視覚的情報を統合した大規模でオープンドメインの会話データセットの不足を解消すること。
• 実世界の視覚メディアから抽出した対応する会話ターンと視覚的情報の提供により、視覚的に根拠のある会話生成の研究を促進すること。
• シーンの文脈、顔の表情、物体同士の相互作用などの視覚的手がかりを活用する会話モデルの開発を支援すること。
• 現実的で多様性に富み、スケーラブルなベンチマークを提供することで、より人間らしい文脈的・視覚的認識を持つ会話エージェントの構築を支援すること。
• 特にオープンドメインの文脈において、テキスト中心の生成を超えたマルチモーダル会話システムの発展を支援する基盤を提供すること。

提案手法

• 映画およびテレビドラマの台本と対応する動画フレームから、会話ターンと視覚的情報を抽出した。
• 各会話発話が発生する特定の視覚フレーム（画像）と一致させ、時間的・空間的整合性を確保した。
• 多様な視覚メディアから、合計110万件の会話-視覚ペアを収集し、さまざまなシーン、登場人物、会話文脈をカバーした。
• 自動および手動によるフィルタリングを用いて、高品質で一貫性があり文脈的に適切な会話-視覚ペアを保証した。
• マルチモーダルモデルの共同学習を可能にするために、会話生成および視覚的文脈特定の両方のタスクを想定した構造とした。
• コミュニティの利用およびベンチマーク評価を目的として、https://github.com/ShannonAI/OpenViDial にてデータセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 視覚的情報を併せ持つ大規模でオープンドメインの会話データセットが、マルチモーダル会話生成モデルの性能を顕著に向上させ得るか？
• RQ2 シーンの文脈、物体の有無、顔の表情といった視覚的手がかりが、生成応答の関連性および一貫性にどの程度寄与するか？
• RQ3 視覚的情報を統合することで、オープンドメインの文脈において応答の多様性とパーソナライズ性がどのように変化するか？
• RQ4 OpenViDialで学習されたモデルは、言語的に一貫性があり、視覚的現実に根拠を持つ応答を生成できるか？
• RQ5 正確で文脈的に適切な会話応答を予測する上で、最も強く寄与する視覚的およびテキスト的特徴は何か？

主な発見

• OpenViDialは、対応する視覚的情報を併せ持つ110万件の会話ターンを含み、現在利用可能な最大規模のオープンドメイン・マルチモーダル会話データセットの一つである。
• このデータセットにより、視覚的文脈に基づいた応答を生成する会話モデルの学習が可能となり、例として「写真を見て」や「屋根裏部屋に移動中」といった、視覚的入力がなければ意味が不明瞭な表現も的確に処理できる。
• 視覚的情報の統合により、モデル出力の質的分析を通じて、応答の関連性および文脈的正確性が顕著に向上することが示された。
• 屋内・屋外・動的なシーンを含む多様な視覚的設定において、さまざまな会話シナリオをカバーしており、モデルの一般化性能を向上させている。
• OpenViDialの公開により、マルチモーダル会話システムの評価のための標準化されたベンチマークが提供され、再現可能性の向上と分野全体の進展を促進している。
• 予備的な実験では、OpenViDialで学習したモデルが、特に複雑または曖昧な文脈において、テキスト中心のベースラインを上回る視覚的に根拠のある応答を生成することが確認された。