[論文レビュー] MMChat: Multi-Modal Chat Dataset on Social Media

Yinhe Zheng, Guanyi Chen+2 more|arXiv (Cornell University)|Aug 16, 2021

Multimodal Machine Learning Applications参考文献 21被引用数 8

ひとこと要約

本稿では、実際のソーシャルメディア会話から収集された大規模な中国語マルチモーダル対話データセットMMChatを紹介する。このデータセットは、画像に根ざしたトピックが視覚的コンテンツから逸脱する『スパarsity（疎らさ）』現象を捉えている。著者らは、画像特徴量の注目ルーティングを用いてスパarsityを処理するベンチマークモデルを提案し、視覚的特徴量を組み込むことで対話生成性能が向上することを示した。特に高品質なMMChat-hfサブセット（19.9K対話）では顕著な改善が得られた。

ABSTRACT

Incorporating multi-modal contexts in conversation is important for developing more engaging dialogue systems. In this work, we explore this direction by introducing MMChat: a large-scale Chinese multi-modal dialogue corpus (32.4M raw dialogues and 120.84K filtered dialogues). Unlike previous corpora that are crowd-sourced or collected from fictitious movies, MMChat contains image-grounded dialogues collected from real conversations on social media, in which the sparsity issue is observed. Specifically, image-initiated dialogues in common communications may deviate to some non-image-grounded topics as the conversation proceeds. To better investigate this issue, we manually annotate 100K dialogues from MMChat and further filter the corpus accordingly, which yields MMChat-hf. We develop a benchmark model to address the sparsity issue in dialogue generation tasks by adapting the attention routing mechanism on image features. Experiments demonstrate the usefulness of incorporating image features and the effectiveness of handling the sparsity of image features.

研究の動機と目的

• ソーシャルメディア会話における画像に根ざしたトピックの自然な逸脱を反映する、現実的で現実世界のマルチモーダル対話データセットの不足に対処すること。
• 対話システムにおける『スパarsity（疎らさ）』問題を調査すること。ここでは、対話のすべての発話が視覚的入力に根ざしているわけではない。
• 人間によるアノテーションを通じて高品質でフィルタリングされたデータセット（MMChat-hf）を構築し、マルチモーダル対話モデルの堅牢な評価を可能にすること。
• 画像特徴量におけるスパarsityを明示的にモデル化するベンチマークモデルを開発し、対話生成性能を向上させること。
• マルチモーダル事前学習、中国語コミュニケーションの社会科学研究、および対話システムにおけるバイアスと毒性の緩和に関する研究を可能にすること。

提案手法

• 中国のソーシャルメディアプラットフォームから、3240万件の対話セッションと841万枚の画像を収集し、ユーザーのプライバシーと公開可視性を尊重した。
• 自動フィルタリングパイプラインを適用して、整合性のない、攻撃的または関係のない対話や画像を除去し、MMChat（120.84K対話、204.32K画像）を生成した。
• MMChatから10万件の対話を選別し、人間によるアノテーションを実施してMMChat-hf（19.9K対話、52.24K画像）を構築。テキストと画像の間の高い関連性を保証した。
• 事前学習済みの画像キャプションモデルを用いて、画像のキャプションとオブジェクトラベルを提供し、各画像の視覚的文脈を豊かにした。
• 注目ルーティング機構を画像特徴量に適応させ、関連する画像特徴量を動的に注目するようにする、Seq2Seq+IMGというベンチマークモデルを提案。この機構によりスパarsityを処理した。
• MMChatおよびMMChat-hfの両データセット上でモデルを訓練・評価し、テキストのみのベースラインと、事前に抽出された画像特徴量を使用するモデル（Seq2Seq+PIMG）と性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 実際のソーシャルメディア会話において、対話のトピックが初期の視覚的トリガーから逸脱する『スパarsity（疎らさ）』現象はどの程度広がっているのか？
• RQ2 現実的でスパースなマルチモーダル環境下において、視覚的特徴量を組み込むことで、オープンドメイン対話生成性能はどの程度向上するのか？
• RQ3 画像特徴量におけるスパarsityを明示的にモデル化するモデルは、すべての画像特徴量を均一に扱うモデルを上回る性能を発揮できるか？
• RQ4 対話および画像の人工的フィルタリングが、マルチモーダル対話生成におけるモデル性能と多様性に与える影響は何か？
• RQ5 データセットの品質（生データ vs. フィルタリング済み）が、対話生成タスクにおけるBLEUスコアとdistinctスコアに与える影響は何か？

主な発見

• 提案されたSeq2Seq+IMGモデルは、テキストのみのSeq2Seqベースラインと比較して、MMChat-hfデータセット上でBLEU-4スコアに54.84%の相対的改善を達成した。
• MMChatデータセットでは、ベースラインと比較してBLEU-4が24.97%相対的に向上し、フィルタリングが不十分なデータでも視覚的特徴量が生成性能を向上させることを示した。
• 人間によるフィルタリングが施されたMMChat-hfサブセットは、生のMMChatよりも一貫して高いBLEUスコアとdistinctスコアを示しており、データ品質がモデル性能に顕著に影響することを示した。
• 注目ルーティング機構はスパarsityを効果的に処理でき、Seq2Seq+IMGはSeq2Seq+PIMGを上回った。これは、スパarsityの明示的モデリングが結果を改善することを示している。
• BLEUスコアの向上は見られたが、多様性の向上（distinctスコア）は限定的であった。これは、視覚的文脈が応答生成に制限的であるためと考えられる。
• データセットリリースでは、URLのみを含む生の対話と画像を提供しており、プライバシーを保護するとともに、厳密な条件のもとで学術的利用を可能にしている。