[論文レビュー] STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset

Yuya Yoshikawa, Yutaro Shigeto+1 more|arXiv (Cornell University)|May 2, 2017

Multimodal Machine Learning Applications参考文献 13被引用数 21

ひとこと要約

本稿では、MS-COCOの164,062枚の画像から構成される大規模な日本語画像キャプションデータセット「STAIR Captions」を紹介する。このデータセットには820,310件のキャプションが含まれる。日本語のキャプションを直接学習させたニューラル画像キャプションモデルは、英語のキャプションを生成してから日本語に翻訳するパイプラインを上回り、より自然で正確なキャプションを生成した。これは、日本語のような低リソース言語において、高品質な生成を達成するには言語固有の学習データが必要であることを示している。

ABSTRACT

In recent years, automatic generation of image descriptions (captions), that is, image captioning, has attracted a great deal of attention. In this paper, we particularly consider generating Japanese captions for images. Since most available caption datasets have been constructed for English language, there are few datasets for Japanese. To tackle this problem, we construct a large-scale Japanese image caption dataset based on images from MS-COCO, which is called STAIR Captions. STAIR Captions consists of 820,310 Japanese captions for 164,062 images. In the experiment, we show that a neural network trained using STAIR Captions can generate more natural and better Japanese captions, compared to those generated using English-Japanese machine translation after generating English captions.

研究の動機と目的

• 神経的キャプションモデルの学習に適した大規模かつ高品質な日本語画像キャプションデータセットの不足を解消すること。
• 英語のキャプション生成後に機械翻訳を行うアプローチを超えて、日本語の画像キャプション生成の質を向上させること。
• 直接日本語のキャプションで学習させることで、翻訳ベースのアプローチに比べてより自然で正確なキャプションが得られることを示すこと。
• 日本語画像キャプション研究のための公開可能で大規模なベンチマークデータセットを提供すること。

提案手法

• MS-COCO 2014データセットの164,062枚の画像すべてに対して、1枚あたり5つの日本語キャプションを収集し、STAIR Captionsを構築した。公開リリースではテストセットのキャプションは除外した。
• 品質と一貫性を確保するため、パートタイムおよびクラウドソーシングの作業者を用いたウェブベースのアノテーションシステムを採用した。
• 厳密なアノテーションガイドラインを適用：最小15文字、だ・である文体、1文のみ、事実の記述に限定、意見や感情を含めない。
• モデル学習時の前処理として、形態素解析（MeCab）を用いた。
• VGG-16を畳み込みニューラルネットワーク（CNN）特徴抽出器として使用し、LSTMをキャプション生成に用いた、系列対系列モデルを訓練。CNNの重みは固定し、LSTMのパラメータのみ微調整した。
• 2つの手法を比較した：(1) En-generator → MT（英語キャプション生成＋Google翻訳）、(2) Ja-generator（STAIR Captionsで直接学習）。両者ともKarpathyとFei-Feiのアーキテクチャを採用した。

実験結果

リサーチクエスチョン

• RQ1 日本語のキャプションで直接学習させたニューラル画像キャプションモデルは、英語キャプション生成後に翻訳するパイプラインに比べ、より自然で正確なキャプションを生成できるか？
• RQ2 STAIR Captionsで学習した日本語キャプションモデルの性能は、翻訳ベースのベースラインと定量的に比較してどうなるか？
• RQ3 直接日本語で学習した場合と英語→日本語翻訳で生成した場合のキャプションに、どのような定性的な差異があるか？
• RQ4 大規模な言語固有のデータセットは、日本語のような低リソース言語において、キャプション生成の質をどの程度向上させるか？

主な発見

• STAIR Captionsで直接学習したJa-generatorモデルは、En-generator → MTベースライン（0.324）に比べ、CIDErスコアで顕著に高い0.833を達成し、キャプションの質が優れていることを示した。
• Ja-generatorモデルは、すべての評価指標でベースラインを上回った：BLEU-1（0.763 vs. 0.565）、BLEU-2（0.614 vs. 0.330）、BLEU-3（0.492 vs. 0.204）、BLEU-4（0.385 vs. 0.127）、ROUGE-L（0.553 vs. 0.449）。
• 定性的な分析から、Ja-generatorはより自然で文脈的に正確なキャプションを生成しており、例として「a bunch of food」を直訳せず「ドーナツ」と正しく特定した。
• STAIR Captionsで学習したモデルは「二階建てのバス」のような日本語の慣用表現を生成したが、翻訳パイプラインは「二重デッカーバス」と直訳的で不自然な表現を出力した。
• 結果から、低リソース言語において、流暢で正確なキャプションを生成するには、言語固有の高品質なキャプションデータで直接学習することが不可欠であることが確認された。
• STAIR Captionsは、これまでに公開された中で最大の日本語画像キャプションデータセットであり、164,062枚の画像に対して820,310件のキャプションを含む。YJ Captionsなどの既存データセットを6倍以上に上回る規模である。