[論文レビュー] Unsupervised Cross-lingual Image Captioning.

Jiahui Gao, Yi Zhou+2 more|arXiv (Cornell University)|Oct 3, 2020

Multimodal Machine Learning Applications参考文献 38被引用数 9

ひとこと要約

この論文は、中国語を対象言語として、対応する画像-文ペairが存在しない状態で、中国語の文を生成する教師なしクロスリンガル画像キャプション生成手法を提案する。本手法は、平行文コーパスのみを用いて、クロスリンガルシーングラフから文への翻訳と、教師なしクロスモーダル特徴マッピングを活用し、画像から得られるシーングラフとターゲット言語の文を一致させる。

ABSTRACT

Research in image captioning has mostly focused on English because of the availability of image-caption paired datasets in this language. However, building vision-language systems only for English deprives a large part of the world population of AI technologies' benefit. On the other hand, creating image-caption paired datasets for every target language is expensive. In this work, we present a novel unsupervised cross-lingual method to generate image captions in a target language without using any image-caption corpus in the source or target languages. Our method relies on (i) a cross-lingual scene graph to sentence translation process, which learns to decode sentences in the target language from a cross-lingual encoding space of scene graphs using a sentence parallel (bitext) corpus, and (ii) an unsupervised cross-modal feature mapping which seeks to map an encoded scene graph features from image modality to language modality. We verify the effectiveness of our proposed method on the Chinese image caption generation task. The comparisons against several existing methods demonstrate the effectiveness of our approach.

研究の動機と目的

• ターゲット言語に画像-文ペアデータが存在しない状況下でも、中国語のような低リソース言語で画像キャプション生成を可能にすること。
• 主に英語のみのデータセットで訓練されている既存の画像キャプション生成システムの制限を克服すること。
• ゼロショットクロスリンガルキャプションを実現するため、平行文コーパスとクロスリンガルシーングラフ表現のみを活用する手法を開発すること。
• 視覚的シーングラフとターゲット言語の文とのモダリティギャップを、教師なしの方法で埋めること。

提案手法

• 本手法は、平行文コーパス（ビテキストコーパス）を用いて、シーングラフをターゲット言語の文にマッピングするクロスリンガルシーングラフから文への翻訳プロセスを採用する。
• 画像モダリティのシーングラフ特徴と言語モダリティの特徴を一致させる、教師なしクロスモーダル特徴マッピングを導入する。
• モデルは、共通のクロスリンガル符号化空間にエンコードされたシーングラフから、ターゲット言語の文をデコードすることで、低リソース言語へのゼロショット転送を可能にする。
• 画像からシーングラフを抽出するために事前学習済みのビジョンモデルを、ターゲット言語の文を生成するために多言語言語モデルを用いる。
• 本手法は、ターゲット言語における画像-文ペアを一切必要とせず、主にクロスリンガル文の一致と視覚的特徴マッピングに依存する。
• 対照学習を用いて、視覚的シーングラフとターゲット言語の文表現との間を、エンドツーエンドに訓練することで、視覚的シーングラフと対応する文表現を一致させる。

実験結果

リサーチクエスチョン

• RQ1 ターゲット言語に画像-文ペアデータが一切存在しない状況下でも、画像キャプション生成が効果的に転送可能か？
• RQ2 クロスリンガルシーングラフ表現は、ゼロショットキャプションにおいて、視覚的モダリティと言語的モダリティのギャップをどの程度埋められるか？
• RQ3 教師なしクロスモーダル特徴マッピングは、低リソース環境下でキャプション品質をどの程度向上させるか？
• RQ4 平行文コーパスのみで、視覚的シーングラフと組み合わせることで、高品質なクロスリンガルキャプション生成が可能か？

主な発見

• 提案手法は、中国語の画像キャプション生成において、中国語の画像-文ペアが一切ない状況下でも、競争力のある性能を達成した。
• 教師なしクロスモーダル特徴マッピングにより、視覚的シーングラフとターゲット言語の文との間の一致が顕著に向上した。
• クロスリンガルシーングラフから文への翻訳プロセスにより、ターゲット言語で自然で文脈的に適切なキャプションの正確な生成が可能になった。
• 既存のゼロショットおよび教師なしベースラインと比較して、中国語の画像キャプションタスクで本手法は優れた性能を示し、低リソース環境下での有効性を実証した。