[論文レビュー] Towards Expressive Communication with Internet Memes: A New Multimodal Conversation Dataset and Benchmark

Zhengcong Fei, Zekang Li+3 more|arXiv (Cornell University)|Sep 4, 2021

Humor Studies and Applications参考文献 33被引用数 7

ひとこと要約

本稿では、Memeを統合したオープンドメイン対話（MOD）タスクを導入し、約45K件の会話と約606K件の発話、それぞれにインターネットMemeの感情ラベルが付与された大規模な中国語マルチモーダル対話データセットを提案する。また、テキストとMemeの生成を統合的に処理できるTransformerベースのアーキテクチャを採用した統合生成モデルMOD-GPTを提示し、応答生成およびMeme検索タスクで優れた性能を達成しており、特に未学習のMemeに対して優れた一般化性能を示している。

ABSTRACT

As a kind of new expression elements, Internet memes are popular and extensively used in online chatting scenarios since they manage to make dialogues vivid, moving, and interesting. However, most current dialogue researches focus on text-only dialogue tasks. In this paper, we propose a new task named as extbf{M}eme incorporated extbf{O}pen-domain extbf{D}ialogue (MOD). Compared to previous dialogue tasks, MOD is much more challenging since it requires the model to understand the multimodal elements as well as the emotions behind them. To facilitate the MOD research, we construct a large-scale open-domain multimodal dialogue dataset incorporating abundant Internet memes into utterances. The dataset consists of $\sim$45K Chinese conversations with $\sim$606K utterances. Each conversation contains about $13$ utterances with about $4$ Internet memes on average and each utterance equipped with an Internet meme is annotated with the corresponding emotion. In addition, we present a simple and effective method, which utilizes a unified generation network to solve the MOD task. Experimental results demonstrate that our method trained on the proposed corpus is able to achieve expressive communication including texts and memes. The corpus and models have been publicly available at https://github.com/lizekang/DSTC10-MOD.

研究の動機と目的

• オープンドメインの会話において、感情的で文脈的な豊かさをもたらすインターネットMemeを統合した、表現力に富んだマルチモーダル対話システムの不足を補うため。
• マルチモーダル対話研究を支援するため、豊富なインターネットMemeと感情ラベルを備えた大規模なオープンドメインで中国語で記述されたデータセットを構築するため。
• 文脈的および感情的に適切なマルチモーダル応答（テキストとMeme）を生成できる統合ディープラーニングフレームワークを開発するため。
• 実世界の展開課題を反映するように、未学習のMemeに対するモデルの一般化能力を評価するため。

提案手法

• 約45K件の会話、約606K件の発話、1会話あたり約4つのMemeを含む大規模なオープンドメイン対話データセットを構築し、それぞれに感情ラベルを付与する。
• テキスト応答とインターネットMemeの両方を同時に予測できる、Transformerアーキテクチャに基づく統合シーケンス生成モデルであるMOD-GPTを提案する。
• マルチモーダル理解を向上させるために、2つの補助的事前学習タスク（インターネットMeme特徴抽出（IMFE）とクロスモーダル感情モデリング（CEM））を採用する。
• テキストとMemeの両方のトークンを予測できる統一された生成ヘッドを用い、テキスト生成と画像生成のための別々のモジュールを必要としないエンドツーエンドの学習を可能にする。
• 応答生成中にテキストコンテキストとMemeの視覚的特徴を一致させるために、コントラスト学習とクロスアテンションメカニズムを適用する。
• 応答生成、Meme検索、感情に配慮した応答選択の3つのサブタスクで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 統合ニューラル生成モデルは、オープンドメイン対話においてテキストとインターネットMemeを組み合わせたマルチモーダル応答を効果的に生成できるか？
• RQ2 トレーニング時に登場しなかった未学習のインターネットMemeに対しても、モデルはどの程度一般化できるか？
• RQ3 感情ラベルの付与が、生成されるマルチモーダル応答の質と関連性にどの程度向上効果をもたらすか？
• RQ4 IMFEやCEMのような事前学習タスクが、下流のマルチモーダル対話生成性能に与える影響は何か？

主な発見

• MOD-GPTは、Meme検索タスクにおけるエイジリーセットでR10@5スコア83.6%を達成し、関連性の高いMemeの選択において優れた性能を示している。
• 未学習のMemeを含むハードテストセットでは、MOD-GPTは70.5%のR10@5を達成し、挑戦が大きいにもかかわらず有望な一般化能力を示している。
• アブレーションスタディの結果、IMFEおよびCEMの両方の事前学習タスクが性能向上に顕著な寄与をしていることが確認され、IMFEはR10@1に+5.1%の向上をもたらした。
• 感情に一致するMemeを生成する際、モデルは感情キーワード（例：'sorry'）に対して高い注釈重みを割り当てており、感情に配慮した推論が効果的に行われていることが示唆されている。
• 候補Memeの集合が大きくなると性能が著しく低下するため、検索スケーラビリティの向上に余地があることが示された。
• 統合モデルは、すべての指標において階層的LSTMベースの（MHERAD）および単純な類似度ベースの（SRS）ベースラインを上回っている。