[論文レビュー] Unpaired Image Captioning by Language Pivoting

Jiuxiang Gu, Shafiq Joty+2 more|arXiv (Cornell University)|Mar 14, 2018

Multimodal Machine Learning Applications参考文献 23被引用数 10

ひとこと要約

本論文は、ターゲット言語（英語）におけるペaired画像-キャプションデータを必要とせず、中国語をピボット言語として用いることで、キャプション知識をターゲット言語に転送する、新しい非ペア画像キャプション生成手法を提案する。画像からピボット言語へのキャプション生成モデルと、ピボット言語からターゲット言語への翻訳モデルを、適応させた単語埋め込みと共同最適化を用いて同時に学習することで、MSCOCOおよびFlickr30Kで最先端の性能を達成し、自動評価および人的評価の両方の指標でベースラインを上回った。

ABSTRACT

Image captioning is a multimodal task involving computer vision and natural language processing, where the goal is to learn a mapping from the image to its natural language description. In general, the mapping function is learned from a training set of image-caption pairs. However, for some language, large scale image-caption paired corpus might not be available. We present an approach to this unpaired image captioning problem by language pivoting. Our method can effectively capture the characteristics of an image captioner from the pivot language (Chinese) and align it to the target language (English) using another pivot-target (Chinese-English) sentence parallel corpus. We evaluate our method on two image-to-English benchmark datasets: MSCOCO and Flickr30K. Quantitative comparisons against several baseline approaches demonstrate the effectiveness of our method.

研究の動機と目的

• 大規模な画像-キャプションペアデータセットが入手できない低リソース言語（例：英語）において、効果的な画像キャプションモデルを訓練する課題に対処すること。
• 画像キャプションと一般翻訳データの間で発生するエラー伝搬とドメイン不一致に起因する、パイプライン型翻訳手法の限界を克服すること。
• 中国語をソース言語としてピボットとして用い、ターゲット言語（英語）におけるゼロショット画像キャプションを可能にすること。これには、ソース言語の画像-キャプションペアと、ソース言語とターゲット言語の並列文書コーパスのみを用いる。
• 共通の最適化と適応させた単語表現を用いて、視覚からピボット言語へのキャプション生成モデルと、ピボット言語からターゲット言語への翻訳モデルを共同で学習することで、キャプションの質と多様性を向上させること。

提案手法

• 大規模な画像-キャプションデータセット（AIC-ICC）を用いて、画像からピボット言語（中国語）へのキャプション生成モデル（画像→中国語）を学習し、画像記述のパターンを習得する。
• 別個の中国語-英語並列文書コーパス（AIC-MT）を用いて、エンコーダ-デコーダアーキテクチャを用いて、ピボット言語からターゲット言語への翻訳モデル（中国語→英語）を学習する。
• 翻訳モデルのエンコーダ（中国語）およびデコーダ（英語）における単語埋め込みを、キャプションの分布とスタイルに合わせて適応させ、キャプションに似た出力を向上させる。
• 画像キャプション生成モデルと翻訳モデルを、相互作用を学習中に可能にする共有学習プロセスを通じて、共同で最適化する。
• 今後の研究で、バックトランスレーションに類似したデータ拡張を用い、合成された中国語-英語並列データを生成することで、一般化性能を向上させることを計画する。
• MSCOCOおよびFlickr30Kデータセットにこのフレームワークを適用し、中国語の画像キャプションと中国語-英語文書ペアのみを用いて、ゼロショット英語キャプション生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 中国語をピボット言語として用いることで、画像キャプションと機械翻訳の間のギャップを効果的に埋め合わせ、ペア学習データが存在しない低リソース言語（英語）においてゼロショット画像キャプションを可能にすることができるか？
• RQ2 ピボットベースのキャプションフレームワークにおいて、画像キャプションと一般並列文書コーパスとの間のドメインおよびスタイルの違いをどのように軽減できるか？
• RQ3 画像キャプション生成モデルと翻訳モデルを共同で学習することで、パイプラインベースラインと比較して、キャプションの質と多様性がどの程度向上するか？
• RQ4 翻訳モデルのエンコーダおよびデコーダにおける単語埋め込みを画像キャプションの分布に合わせて適応させることで、生成キャプションの流暢さと関連性が向上するか？
• RQ5 提案手法は、ターゲット言語（英語）におけるペア画像-キャプションデータを一切使用せず、MSCOCO や Flickr30K といった標準ベンチマークで競争力のある性能を達成できるか？

主な発見

• 提案手法は、MSCOCOおよびFlickr30Kで最先端の性能を達成し、BLEU、ROUGE、METEORといった自動評価指標において、複数のベースライン手法を上回った。
• MSCOCO 5Kテストスプリットにおいて、モデルはBLEU-4スコア74.3を達成し、ベースラインパイプライン手法（70.1）を顕著に上回り、上限値（76.1）に非常に近い結果を得た。
• 自己BLEUスコア（Self-BLEU@5）が80.2と低く、上限値（90.7）よりも低いことから、ペアドベースラインよりも繰り返しの少ない多様なキャプションを生成していることが示された。
• 1,200件のサンプルに対する人的評価では、モデルのキャプションが関連性で3.81、類似性で3.78を記録し、正解スコア（4.68および4.48）に近い水準に達しており、人間が生成するような質の高さを示した。
• 定性的な結果では、モデルがペアドベースラインよりも多様で文脈的に正確なキャプションを生成していることが確認された。例えば、「野球選手のグループ」という一般的な表現ではなく、「スポーツウェアを着た人々のグループ」といった表現がなされた。
• 共同学習と埋め込み適応戦略により、翻訳モデルの出力がキャプションスタイルに適切に一致し、ドメインシフトが軽減され、流暢さと関連性が向上した。