[論文レビュー] memeBot: Towards Automatic Image Meme Generation

Aadhavan Sadasivam, Kausic Gunasekar+2 more|arXiv (Cornell University)|Apr 30, 2020

Sentiment Analysis and Opinion Mining参考文献 24被引用数 4

ひとこと要約

memeBotは、画像ミーム生成をテキストからミーム（画像＋キャプション）への翻訳タスクとして扱う、エンドツーエンドのニューラルエンコーダデコーダフレームワークを提案する。入力文とテンプレートに基づいてミームテンプレートを選択し、それに条件づけたキャプションを生成する。Twitterデータ上で人間による評価により、一貫性で66.5％、関連性で66.25％の信頼度を達成した。

ABSTRACT

Image memes have become a widespread tool used by people for interacting and exchanging ideas over social media, blogs, and open messengers. This work proposes to treat automatic image meme generation as a translation process, and further present an end to end neural and probabilistic approach to generate an image-based meme for any given sentence using an encoder-decoder architecture. For a given input sentence, an image meme is generated by combining a meme template image and a text caption where the meme template image is selected from a set of popular candidates using a selection module, and the meme caption is generated by an encoder-decoder model. An encoder is used to map the selected meme template and the input sentence into a meme embedding and a decoder is used to decode the meme caption from the meme embedding. The generated natural language meme caption is conditioned on the input sentence and the selected meme template. The model learns the dependencies between the meme captions and the meme template images and generates new memes using the learned dependencies. The quality of the generated captions and the generated memes is evaluated through both automated and human evaluation. An experiment is designed to score how well the generated memes can represent the tweets from Twitter conversations. Experiments on Twitter data show the efficacy of the model in generating memes for sentences in online social interaction.

研究の動機と目的

• オンラインのソーシャルインテラクションにおける任意の入力文から画像ミームを生成する課題に対処すること。
• 自然言語からマルチモーダル出力（画像＋キャプション）への翻訳タスクとしてミーム生成をモデル化すること。
• ミームテンプレートの共同選択と文脈的に関連性のあるキャプションの生成を実現するエンドツーエンドのシステムを開発すること。
• 本物のTwitterデータ上で人間による評価と自動評価メトリクスを用いて、生成されたミームの品質を評価すること。
• トレーニング時に見られなかったテンプレートであっても、特定のミームテンプレートに条件づけてキャプションを生成できる制御可能なミーム生成を可能にすること。

提案手法

• 入力文と選択されたミームテンプレートを共有されるミーム埋め込み空間にマップするため、共同埋め込み空間を用いたエンコーダデコーダアーキテクチャを採用する。
• 入力文の意味的特徴に基づいて、人気のあるテンプレートのキュレートされたセットから最も適切なミーム画像を選択するテンプレート選択モジュールを採用する。
• 入力文と選択されたテンプレート埋め込みに条件づけたキャプションを生成するため、トランスフォーマーに基づくデコーダを適用する。
• 大規模なミームキャプションデータセットを用いて、正しいテンプレート選択と正確なキャプション生成の尤度を最大化するようにモデルを訓練する。
• トレーニング中にデータの破損を組み込むことで、未観測の入力文に対しても耐性が高く一般化性に優れたモデルを構築する。
• トレーニング分布外のテンプレートであっても、指定されたミームテンプレートに条件づけてキャプション生成を可能にする制御可能な生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 テキストからマルチモーダル出力（画像＋キャプション）へのニューラル機械翻訳タスクとして、自動画像ミーム生成を効果的にモデル化できるか？
• RQ2 入力文とミームテンプレートの両方に条件づけた、一貫性があり関連性のあるミームキャプションを、共同エンコーダデコーダモデルがどの程度効果的に生成できるか？
• RQ3 モデルは未観測の入力文に対し、どの程度一般化され、人間による評価でも品質を維持できるか？
• RQ4 トレーニング時に明示的に見られなかったテンプレートであっても、特定のミームテンプレートに対してキャプションを生成できる制御性はどの程度確保できるか？
• RQ5 人間のレーティング担当者は、生成されたミームの品質と関連性を人間が作成したミームと比較してどのように評価するか？

主な発見

• 人間による評価により、生成されたミームキャプションの一貫性で66.5％、関連性で66.25％の信頼度を達成した。
• 65％のレーティング担当者が生成されたミームを好んだ。好意的評価スコアは、一貫性と関連性のスコアと強く相関していた。
• 生成されたミームの60％以上が人間評価者によって一貫性と関連性があると評価され、核心的な品質指標において優れた性能を示した。
• 評価者間の一致性は高く、すべての指標でCohenのKappa係数が60％以上であった（一貫性：71.68％、関連性：61.39％、ユーザーの好意：73.85％）。
• モデルは、トレーニングデータ外の任意のミームテンプレートに対しても、それに条件づけたキャプションを生成できるよう一般化しており、耐性と制御性を示した。
• システムは、ミームキャプション、テンプレート、入力文の間の依存関係を効果的に学習し、意味的に整合性のあるミームのエンドツーエンド生成を可能にした。