[論文レビュー] OpenViDial 2.0: A Larger-Scale, Open-Domain Dialogue Generation Dataset with Visual Contexts

Shuhe Wang, Yuxian Meng+4 more|arXiv (Cornell University)|Sep 27, 2021

Multimodal Machine Learning Applications参考文献 71被引用数 5

ひとこと要約

OpenViDial 2.0 は、映画およびテレビドラマから抽出された視覚的文脈を併せ持つ、560万件の会話ターンを含む大規模でオープンドメインのマルチモーダル会話データセットです。OpenViDial 1.0 に比べてデータセットサイズを4倍に拡大し、マルチモーダル会話生成およびマルチモーダル事前学習モデルの訓練を向上させることを可能にしました。

ABSTRACT

In order to better simulate the real human conversation process, models need to generate dialogue utterances based on not only preceding textual contexts but also visual contexts. However, with the development of multi-modal dialogue learning, the dataset scale gradually becomes a bottleneck. In this report, we release OpenViDial 2.0, a larger-scale open-domain multi-modal dialogue dataset compared to the previous version OpenViDial 1.0. OpenViDial 2.0 contains a total number of 5.6 million dialogue turns extracted from either movies or TV series from different resources, and each dialogue turn is paired with its corresponding visual context. We hope this large-scale dataset can help facilitate future researches on open-domain multi-modal dialog generation, e.g., multi-modal pretraining for dialogue generation.

研究の動機と目的

• 限られた規模のデータセットに起因するマルチモーダル会話学習の成長のブottleneckを解消すること。
• テキストの会話履歴に加えて視覚的文脈を組み込むことで、会話生成の現実性を向上させること。
• スケーラブルでオープンアクセスのデータセットを提供し、マルチモーダル事前学習およびエンドツーエンドの会話生成研究を支援すること。
• オープンドメインの会話において、テキストおよび視覚的モダリティを統合的に推論できるモデルの開発を促進すること。
• 元の OpenViDial 1.0 データセットを、4倍の会話ターンと整合化された視覚的文脈で拡張すること。

提案手法

• 複数の公開ソースから映画およびテレビドラマの会話ターンとそれに該当する視覚的フレーム（画像フレーム）を抽出した。
• 各会話発話が発生する視覚的文脈（画像フレーム）と一致させ、時間的および文脈的な整合性を確保した。
• 発話と視覚入力の高品質なペアリングを保証するため、データセットをキュレートおよび検証した。
• OpenViDial 1.0 と同一のデータ収集パイプラインを維持したが、560万件の会話ターンを含むようにスケーリングした。
• 多様でタスクに特化しない会話生成をサポートするため、データセットのオープンドメイン性を保持した。
• 再現可能性およびコミュニティ利用を促進するため、GitHub を通じてデータセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 大幅にスケールアップされたマルチモーダル会話データセットは、オープンドメイン会話生成モデルの性能を向上させることができるか？
• RQ2 視覚的文脈は、オープンドメイン会話における生成応答の整合性、多様性、関連性をどの程度向上させるか？
• RQ3 110万ターンから560万ターンにデータセットをスケーリングすることで、マルチモーダル会話モデルの汎化性能およびロバストネスにどのような影響を与えるか？
• RQ4 大規模に高品質な視覚的およびテキスト的会話データを収集・整合化する際の主な課題は何か？
• RQ5 提案されたデータセットは、会話システムにおけるマルチモーダル事前学習の強力な基盤として機能できるか？

主な発見

• OpenViDial 2.0 には、対応する視覚的文脈とペairedされた560万件の会話ターンが含まれており、OpenViDial 1.0 に比べ4倍の増加である。
• データセットは多様な映画およびテレビドラマのコンテンツから抽出されており、広範な言語的および視覚的変異をカバーしている。
• 各会話ターンは、その発生元の視覚的フレームと時間的・意味的に整合化されており、効果的なマルチモーダルモデリングを可能にしている。
• このデータセットは、特に視覚的文脈を活用するマルチモーダル会話生成モデルの訓練および評価を可能にしている。
• OpenViDial 2.0 のリリースにより、将来的なマルチモーダル会話システム研究のためのスケーラブルなベンチマークが提供された。
• データセットは https://github.com/ShannonAI/OpenViDial で公開されており、オープンかつ再現可能な研究を可能にしている。