[論文レビュー] Modeling Text-visual Mutual Dependency for Multi-modal Dialog Generation

Shuhe Wang, Yuxian Meng+6 more|arXiv (Cornell University)|May 30, 2021

Multimodal Machine Learning Applications参考文献 59被引用数 11

ひとこと要約

本論文は、文脈に根ざした発話生成を可能にするために、テキスト特徴量と視覚的特徴量の相互依存関係をモデル化するマルチモーダル対話生成フレームワークを提案する。テキスト生成と視覚的特徴量予測を共同で学習させることで、関連性と人間らしい自然さが著しく向上し、OpenViDialデータセットにおいて、アンサンブルモデル比で2.74%のBLEU-4向上を達成し、最先端の性能を実現した。

ABSTRACT

Multi-modal dialog modeling is of growing interest. In this work, we propose frameworks to resolve a specific case of multi-modal dialog generation that better mimics multi-modal dialog generation in the real world, where each dialog turn is associated with the visual context in which it takes place. Specifically, we propose to model the mutual dependency between text-visual features, where the model not only needs to learn the probability of generating the next dialog utterance given preceding dialog utterances and visual contexts, but also the probability of predicting the visual features in which a dialog utterance takes place, leading the generated dialog utterance specific to the visual context. We observe significant performance boosts over vanilla models when the mutual dependency between text and visual features is modeled. Code is available at https://github.com/ShannonAI/OpenViDial.

研究の動機と目的

• 既存のマルチモーダル対話モデルが静的で単一画像の視覚的文脈に依存しているという制限を解消すること。
• テキスト的特徴量と視覚的特徴量の相互依存関係をモデル化することで、文脈に特化した応答生成を向上させること。
• マルチモーダル対話システムにおいて、細分化された視覚的特徴量（オブジェクトレベル）と粗視の特徴量（画像レベル）の有効性を評価すること。
• 視覚的-テキスト的相互情報（MI）を統合することで、より人間らしい自然な応答と文脈に適した応答を生成する利点を検証すること。

提案手法

• モデルは、エンコーダ-デコーダアーキテクチャを採用したシーケンス・トゥ・シーケンスフレームワークを用い、異なる粒度のCNNからの視覚的特徴量（入力なし：NV、画像レベル：CV、オブジェクトレベル：FV）を統合する。
• 相互依存機構を導入し、過去の対話と視覚的文脈をもとに次の発話を生成するとともに、生成された発話をもとに視覚的特徴量を予測するという、両方のタスクを同時に学習する。
• 相互情報（MI）モジュールは、視覚的およびテキスト的表現を一致させるためのコントラスト学習目的関数により実装され、特徴量の一致を向上させる。
• 生成タスクには交差エントロピー損失、視覚的特徴量再構成タスクにはコントラスト損失を用いて、エンド・ツー・エンドで学習を実行する。
• 生成された応答が人間のものかモデル生成かを識別するためのディスクラミネーターを訓練し、敵対的評価を実施する。
• 生成応答の関連性、多様性、読みやすさを評価するために、クラウドソーシングを用いた人間評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 テキストと視覚的特徴量の相互依存関係をモデル化することで、マルチモーダル対話生成の質が向上するか？
• RQ2 視覚的特徴量の粒度（画像レベル対オブジェクトレベル）は、応答の関連性と多様性にどのように影響するか？
• RQ3 対話発話をもとに視覚的特徴量を共同で予測することで、より文脈に特化した一貫性のある応答が生成可能になるか？
• RQ4 本手法は、自動評価、敵対的評価、人間評価の各分野において、アンサンブルモデルに比べて優れているか？

主な発見

• FV+MIモデルは、アンサンブルFVモデル比でBLEU-4で2.74%の絶対的向上を達成し、相互依存関係モデル化の有効性を示した。
• FV+MIモデルの敵対的評価成功率は0.877であり、アンサンブルFVモデル（0.890）を上回り、応答生成における人間らしい自然さが向上した。
• 人間評価では、FV+MIモデルがFVおよびCVモデルを有意に上回り、関連性、多様性、読みやすさの各指標でp値 < 0.01を達成した。
• FVモデルは、すべての評価指標においてCVおよびNVモデルを有意に上回り、細分化された視覚的特徴量の利点を確認した。
• MI戦略は、すべての評価タイプにおいて一貫して性能を向上させ、テキストと視覚的意味の一致を強化していることが示された。
• 定性的な例では、FV+MIがより情報量が多く文脈に特化した応答を生成しているのに対し、NVおよびCVモデルは一般的または関連のない発話を生成していることが明らかになった。