[論文レビュー] Unpaired Cross-lingual Image Caption Generation with Self-Supervised Rewards

Yuqing Song, Shizhe Chen+2 more|arXiv (Cornell University)|Aug 15, 2019

Multimodal Machine Learning Applications参考文献 35被引用数 5

ひとこと要約

本論文は、ペaired学習データが存在しない条件下で、文のなめらかさと視覚的関連性を向上させる自己教師付き強化学習フレームワークを提案する。文のなめらかさ報酬には単言語コーパスを、視覚的関連性報酬にはマルチレベルの視覚的意味的マッチングモデルを活用することで、英語および中国語の画像キャプションベンチマークにおいて、先行する最先端手法を顕著に上回る性能を達成した。

ABSTRACT

Generating image descriptions in different languages is essential to satisfy users worldwide. However, it is prohibitively expensive to collect large-scale paired image-caption dataset for every target language which is critical for training descent image captioning models. Previous works tackle the unpaired cross-lingual image captioning problem through a pivot language, which is with the help of paired image-caption data in the pivot language and pivot-to-target machine translation models. However, such language-pivoted approach suffers from inaccuracy brought by the pivot-to-target translation, including disfluency and visual irrelevancy errors. In this paper, we propose to generate cross-lingual image captions with self-supervised rewards in the reinforcement learning framework to alleviate these two types of errors. We employ self-supervision from mono-lingual corpus in the target language to provide fluency reward, and propose a multi-level visual semantic matching model to provide both sentence-level and concept-level visual relevancy rewards. We conduct extensive experiments for unpaired cross-lingual image captioning in both English and Chinese respectively on two widely used image caption corpora. The proposed approach achieves significant performance improvement over state-of-the-art methods.

研究の動機と目的

• 目的言語において大規模なペアド画像キャプションデータセットが利用できない状況下で、高品質な多言語画像キャプションを生成する課題に対処すること。
• 言語ピボットベースのキャプションパイプラインにおけるピボット言語からターゲット言語への機械翻訳によって生じる不自然な表現や視覚的不関連の誤りを軽減すること。
• 並列トレーニングデータが存在しない状況下で、自己教師付き信号を用いてキャプション生成をガイドする強化学習フレームワークを構築すること。
• 単言語テキストおよび疑似ペアド画像キャプションから得られる文のなめらかさと視覚的関連性報酬を通じて、キャプション品質を向上させること。

提案手法

• 単語言語モデルを用いた自己教師付き事前学習により、ターゲット言語の単言語コーパス上で文のなめらかさ報酬を学習する。
• 文レベルおよびコンセプトレベルの視覚的関連性報酬を計算するために、マルチレベル視覚的意味的マッチングモデル（ML-VSE）を提案する。
• ML-VSEモデルは、ピボット言語からターゲット言語への翻訳モデルによって生成された疑似ペアド画像キャプションペア上で学習される。
• 報酬関数を強化学習フレームワークに統合し、キャプション生成器をエンドツーエンドで最適化する。
• 自己教師付きの文のなめらかさと視覚的関連性信号を統合的に最適化することで、並列データへの依存度を低減する。
• 本フレームワークは、MSCOCOおよびAIC-ICCデータセットを用いて、英語および中国語のキャプション生成において評価された。

実験結果

リサーチクエスチョン

• RQ1 ペアドトレーニングデータが存在しない状況下で、自己教師付き報酬が文のなめらかさを向上させることができるか？
• RQ2 マルチレベルの視覚的意味的マッチングが、翻訳されたキャプションにおける視覚的不関連性を効果的に低減できるか？
• RQ3 本手法は、教師ありおよび先行する教師なしベースラインと比較して、非ペアド多言語画像キャプションタスクでどのように性能を発揮するか？
• RQ4 ドメイン外のソースからの単語言語コーパスを用いても、キャプション品質がどの程度向上するか？

主な発見

• 提案手法は、英語および中国語の非ペアド画像キャプションタスクにおいて、すべての標準指標で最先端の性能を達成した。
• MSCOCOテストセットでは、CIDErスコアが28.2、Meteorスコアが14.2を記録し、ベースラインと顕著に優れた性能を示した。
• 人的評価では、文のなめらかさスコアが4.8、関連性スコアが3.8を記録し、キャプション品質の顕著な向上が確認された。
• 4,000件のペアド例で学習された教師ありモデルと同等の性能を示したが、並列トレーニングデータをゼロで使用したにもかかわらずである。
• ドメイン外の単語言語コーパスでさえも、言語モデルがキャプション品質の向上に寄与した。これは、強力な汎化能力を示している。
• マルチレベル視覚的意味的マッチングモデルは、コンセプト検索結果から示されるように、粗いレベルおよび細かいレベルの視覚的・言語的整合性を効果的に捉えている。