[論文レビュー] Using Artificial Tokens to Control Languages for Multilingual Image Caption Generation

Satoshi Tsutsui, David Crandall|arXiv (Cornell University)|Jun 20, 2017

Multimodal Machine Learning Applications参考文献 16被引用数 17

ひとこと要約

本論文では、推論時に目的言語を制御するための人工トークン（例：<en>、<jp>）を用いて、複数の言語でキャプションを生成する統合型ニューラル画像キャプションモデルを提案する。英語と日本語の間には言語的距離があるものの、単一言語モデルと比較して精度の低下が最小限に抑えられ、多言語キャプションに適したコンactな共有アーキテクチャを実現した。

ABSTRACT

Recent work in computer vision has yielded impressive results in automatically describing images with natural language. Most of these systems generate captions in a sin- gle language, requiring multiple language-specific models to build a multilingual captioning system. We propose a very simple technique to build a single unified model across languages, using artificial tokens to control the language, making the captioning system more compact. We evaluate our approach on generating English and Japanese captions, and show that a typical neural captioning architecture is capable of learning a single model that can switch between two different languages.

研究の動機と目的

• 複数の言語で画像キャプションを生成できる1つの統合型ニューラルネットワークモデルの開発。
• 各言語用に別々のモデルを訓練するのと比較して、モデルの複雑さとメモリ使用量の低減。
• 1つのモデルが、英語と日本語という言語的に距離の遠い2言語において、文法的に正しいキャプションを効果的に学習・生成できるかどうかの評価。
• マルチモーダルキャプションにおける言語制御信号として人工トークンを使用する可能性の調査。
• モバイルプラットフォームなどのリソース制約のあるデバイスへの多言語キャプションの効率的デプロイメントの実現。

提案手法

• 訓練時に各キャプションの先頭に言語固有の人工トークン（例：<en> や <jp>）を挿入し、モデルを目的言語に条件づける。
• 画像特徴を抽出するためにCNN（ResNet50）を用い、視覚的特徴と隠れ状態に基づいて自己回帰的にキャプションを生成するためLSTMを用いる。
• 画像と言語トークンが与えられたもとで、正解キャプションの負の対数尤度を最小化するように、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 推論時には、希望する言語トークン（例：<en>）を用いてビームサーチを実行し、指定された言語でキャプションを生成する。
• 入力トークンには単語埋め込みとワンホットエンコーディングを用い、言語トークンを語彙の一部として扱う。
• すべてのパラメータを言語間で共有しながら、英語と日本語のキャプションを統合したデータセット上で1つのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 人工言語トークンを条件として与えることで、1つのニューラルキャプションモデルが複数の言語で正確なキャプションを生成できるか？
• RQ2 統合モデルと個別言語特化モデルとの間で、英語および日本語キャプションの性能にどのような差が生じるか？
• RQ3 英語と日本語のように言語的に距離の遠い言語間で、1つのモデルがどの程度一般化できるか？
• RQ4 言語制御のための人工トークンの使用が、単一言語モデルと比較して顕著な性能低下を引き起こすか？
• RQ5 統合モデルが、メモリ使用量と推論時間の面で十分な効率化を達成でき、モバイルやエッジデバイスへのデプロイメントに実用的かどうか？

主な発見

• 統合モデルは、英語のテストキャプションでCIDErスコア0.593、日本語のテストキャプションで0.594を達成した。一方、単一言語モデルはそれぞれ0.651および0.631であった。
• 統合モデルのBleu-1およびBleu-4スコアは、英語で0.558および0.184、日本語で0.693および0.310であり、わずかな性能低下にとどまった。
• 英語と日本語の間には言語的距離があるものの、モデルは両言語で文法的に正しいかつ文脈的に関連性のあるキャプションを生成した。
• 統合モデルは、別々のモデルと比較して、メモリ使用量と推論時間を半分に削減し、リソース制約のある環境に適したアーキテクチャとなった。
• 定性的な分析から、モデル間で類似した誤りパターン（例：水のあるシーンで水関連の対象物に過剰に注目する）が観察された。
• 人工トークンによる言語切り替えに対してモデルは頑健であり、ゼロショット推論においても両言語で一貫した性能を示した。