[論文レビュー] DialogCC: An Automated Pipeline for Creating High-Quality Multi-Modal Dialogue Dataset

Youngjun Lee, Byungsoo Ko+3 more|arXiv (Cornell University)|Dec 8, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、CLIPベースの類似度を用いて会話と画像を自動的にマッチングする自動パイプラインにより作成された大規模なマルチモーダル会話データセット、DialogCCを提示する。このデータセットは、モデルの一般化性能を著しく向上させ、画像およびテキスト検索において最先端の性能を達成しており、多様で複数の画像を含む会話が、画像およびテキストの摂動に対してより強固であることを示している。

ABSTRACT

As sharing images in an instant message is a crucial factor, there has been active research on learning an image-text multi-modal dialogue models. However, training a well-generalized multi-modal dialogue model remains challenging due to the low quality and limited diversity of images per dialogue in existing multi-modal dialogue datasets. In this paper, we propose an automated pipeline to construct a multi-modal dialogue dataset, ensuring both dialogue quality and image diversity without requiring minimum human effort. In our pipeline, to guarantee the coherence between images and dialogue, we prompt GPT-4 to infer potential image-sharing moments - specifically, the utterance, speaker, rationale, and image description. Furthermore, we leverage CLIP similarity to maintain consistency between aligned multiple images to the utterance. Through this pipeline, we introduce DialogCC, a high-quality and diverse multi-modal dialogue dataset that surpasses existing datasets in terms of quality and diversity in human evaluation. Our comprehensive experiments highlight that when multi-modal dialogue models are trained using our dataset, their generalization performance on unseen dialogue datasets is significantly enhanced. We make our source code and dataset publicly available.

研究の動機と目的

• 既存のマルチモーダル会話データセットに見られる、スケールの小ささ、トピックの多様性の不足、および1会話あたりの画像数の少なさといった制限を解消すること。
• 人的ラベル付けを一切行わず、高品質なマルチモーダル会話データセットを自動的かつスケーラブルに作成するためのパイプラインの開発。
• 1会話の発話に対して複数の多様な画像を用いることで、モデルの一般化性能を向上させること。
• DialogCCで微調整されたモデルが、画像およびテキスト検索ベンチマークにおいて優れた性能と耐性を示すことを実証すること。

提案手法

• パイプラインは、CLIP埋め込みを用いて、CC3Mデータセットの画像から、テキストオンリーデータセットの発話を、意味的類似度に基づいて関連する画像に自動的にマッチングする。
• 2段階のフィルタリング処理を実施する：元データの品質を落とすためのソースデータフィルタリング、および画像-会話の関連性を保証するマルチモーダル会話フィルタリング。
• 事前学習済みのCLIPエンコーダーをテキストおよび画像特徴量の両方の抽出に活用し、人的介入なしでゼロショットマッチングを実現する。
• 最終的なデータセット、DialogCCは、100万を超える会話と、1会話あたり平均5.5枚の画像を含み、多様なトピックと会話スキルをカバーしている。
• 複数のモodalにまたがる意味的コンテンツに一致する画像を選択することで、高い多様性を確保する。
• 得られたデータセットは、公開されており、オープンドメインでマルチモーダル会話システムの研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 CLIP類似度に基づく自動パイプラインは、大規模で多様性に富み、高品質なマルチモーダル会話データセットを効果的に作成できるか？
• RQ2 1発話あたり複数の画像を含むデータセットで学習させることで、1枚または少数の画像しか持たないデータセットと比較して、モデルの一般化性能および耐性が向上するか？
• RQ3 DialogCCで微調整されたモデルは、画像およびテキスト検索タスクにおいて最先端の性能を達成できるか？
• RQ4 画像およびテキストの拡張処理を施した状況下で、DialogCCで学習したモデルの性能は、入力の変化に対してどの程度耐性を示すか？
• RQ5 固定された画像-発話ペairに依存しなくなることで、DialogCCは記憶のリスクをどの程度低減できるか？

主な発見

• DialogCCは100万を超える会話と、550万を超える画像-会話ペアを含み、スケールと多様性の面で既存のデータセットを著しく上回っている。
• MMDDやPhotoChatと比較して、固有語彙が1.5倍、上位語彙（hypernyms）が2.5倍多いことから、トピックおよびドメインの多様性に優れていることが示された。
• DialogCCで学習したモデルは、画像およびテキスト検索ベンチマークの両方で最先端の性能を達成しており、PhotoChatデータセットにおけるRecall@1は7.58%であった。
• DialogCCで学習したモデルは、画像拡張処理に対して優れた耐性を示し、同義語ベースのテキスト拡張処理下でもRecall@1が1.85%低下にとどまる一方、ベースラインは2.13%低下した。
• 1発話あたりの最大画像枚数を1から10に増加させることで、R@1は1.08ポイント、R@10は1.75ポイント向上した。これは、複数画像学習の利点を示している。
• DialogCCで学習したモデルは、画像の歪み（例：ねじれ、ぼかし）に対して劣化が少なく、入力の変化に対する耐性が向上していることが示された。