[論文レビュー] Neural Joking Machine : Humorous image captioning

Kota Yoshida, Munetaka Minoguchi+3 more|arXiv (Cornell University)|May 30, 2018

Video Analysis and Summarization参考文献 1被引用数 12

ひとこと要約

本稿では、Boketeウェブサービスから得た大規模な画像・キャプションペアデータセットであるBoketeDBで微調整されたCNN+LSTMモデルを活用し、ユーザーの星評価（1〜3つ星）に基づいて重み付けされるFunny Scoreと呼ばれる損失関数を導入することで、冗談を含むキャプションを生成するためのニューラルジョキングマシン（NJM）を提案する。このモデルは、人間による順位付け評価においてベースライン手法を上回り、MS COCOの日本語訳キャプションよりも現実世界のユーザー評価で優れた結果を示した。

ABSTRACT

What is an effective expression that draws laughter from human beings? In the present paper, in order to consider this question from an academic standpoint, we generate an image caption that draws a "laugh" by a computer. A system that outputs funny captions based on the image caption proposed in the computer vision field is constructed. Moreover, we also propose the Funny Score, which flexibly gives weights according to an evaluation database. The Funny Score more effectively brings out "laughter" to optimize a model. In addition, we build a self-collected BoketeDB, which contains a theme (image) and funny caption (text) posted on "Bokete", which is an image Ogiri website. In an experiment, we use BoketeDB to verify the effectiveness of the proposed method by comparing the results obtained using the proposed method and those obtained using MS COCO Pre-trained CNN+LSTM, which is the baseline and idiot created by humans. We refer to the proposed method, which uses the BoketeDB pre-trained model, as the Neural Joking Machine (NJM).

研究の動機と目的

• AIにおける冗談の定量的評価の難しさに対処し、笑わせるように設計されたキャプションを生成する計算フレームワークの開発。
• Boketeウェブサービスから得た実世界のユーザー評価付きの冗licated画像・キャプションペアの大規模データセットを構築し、トレーニングと評価を支援すること。
• ユーザーが与えた星評価（1〜3つ星）に基づいてキャプションの質を重み付ける、新しい損失関数であるFunny Scoreを設計し、冗談の最適化をより効果的に行う。
• 人間が生成したキャプションと、事前学習済みのMS COCOベースラインとを比較し、人間評価およびBoketeでの実際の展開状況において、モデルの性能を評価すること。

提案手法

• 画像特徴抽出にはResNet-152を、順序付きキャプション生成にはLSTMを用いたCNN+LSTMアーキテクチャを採用し、Show and Tellモデルを改変した。
• Funny Scoreは、100個以上の星が付いたキャプションに対しては高いペナルティ（L−1.0）を課し、星評価が低いキャプションについては損失（L）を正規化することで、トレーニング中により面白い出力を優先する。
• BoketeDBは、Bokete Ogiriウェブサイトから999,571組の画像・キャプションペアをスクレイピングすることで構築され、冗談付きキャプション生成に適した大規模かつユーザー評価済みのデータセットである。
• 標準的な交差エントロピー損失に代わり、Funny Scoreを主な最適化目的として用い、モデルをBoketeDBで微調整する。
• 人間評価では、3つの出力源（人間が生成したキャプション、NJMが生成したキャプション、STAIRキャプション＝翻訳済みMS COCO）のキャプションを盲検で順位付けするアンケートを実施する。
• また、Boketeへのシステムの展開により、星評価を介した実際のSNS環境下でのユーザーのフィードバックを収集し、ライブ状況での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが提供する星評価のみを監視信号として用いることで、深層学習モデルが冗談付きの画像キャプションを効果的に学習できるか。
• RQ2 一般データセットで微調整された標準的な画像キャプションモデルと比較して、冗談最適化されたモデルの性能はどのように異なるか。
• RQ3 自ら収集したユーザー評価付きデータセット（BoketeDB）は、MS COCOのような既存のベンチマークを上回り、面白いキャプションを生成できるか。
• RQ4 Funny Score損失関数は、標準的な交差エントロピー損失に比べて、冗談の最適化においてより効果的であるか。

主な発見

• 人間が生成したキャプションは67.99％の割合で最も面白いと評価され、NJMおよびSTAIRキャプションベースラインを顕著に上回った。
• NJMが生成したキャプションは22.59％の割合で最も面白いと評価され、STAIRキャプションベースライン（9.41％）を上回った。
• Boketeでの実際の展開では、NJMが生成したキャプションの平均星評価は3.23であったのに対し、STAIRキャプションは1.71にとどまり、より高いユーザー参加度と認識された冗談の質を示した。
• Funny Score損失関数はトレーニング中に高評価のキャプションを優先することができ、標準的な最適化目的に比べて冗談の質に顕著な改善をもたらした。
• 999,571組の画像・キャプションペアを有するBoketeDBは、冗談に配慮したキャプション生成モデルのトレーニングに価値があり、MS COCOに比べて画像数が少ないものの、キャプションの面白さにおいて優れた性能を示した。