[論文レビュー] Multilingual Image Description with Neural Sequence Models

Desmond Elliott, Stella Frank+1 more|arXiv (Cornell University)|Oct 15, 2015

Multimodal Machine Learning Applications参考文献 46被引用数 74

ひとこと要約

本稿では、視覚的特徴とソース言語特徴を用いてターゲット言語で画像説明を生成する、多言語画像説明というタスクを紹介する。事前学習された単言語画像説明モデルからのマルチモーダル特徴と、オブジェクト検出器からの視覚的特徴を転送することで、単言語ベースラインを大幅に上回る説明品質を達成し、IAPR-TC12データセットにおいて英語で2.3のBLEU4向上、ドイツ語で8.8のMeteor向上を達成した。

ABSTRACT

In this paper we present an approach to multi-language image description bringing together insights from neural machine translation and neural image description. To create a description of an image for a given target language, our sequence generation models condition on feature vectors from the image, the description from the source language, and/or a multimodal vector computed over the image and a description in the source language. In image description experiments on the IAPR-TC12 dataset of images aligned with English and German sentences, we find significant and substantial improvements in BLEU4 and Meteor scores for models trained over multiple languages, compared to a monolingual baseline.

研究の動機と目的

• アルトテキストや画像検索のような非英語向けの応用ニーズが高まる中、多言語画像説明システムの不足に応えること。
• 複数の言語からの言語的特徴と視覚的特徴を統合することで、説明生成をどのように改善できるかを調査すること。
• 各言語ペアの再訓練を必要とせず、既存の単言語モデルを再利用可能な柔軟な転送ベースのモデルを開発すること。
• 単言語画像説明モデルからのソース言語特徴が、ターゲット言語の説明品質を向上させることを評価すること。

提案手法

• モデルは、畳み込みニューラルネットワーク（CNN）からの視覚的特徴と、事前学習済みの単言語画像説明モデルからのソース言語マルチモーダル特徴に条件づけられた、シーケンス・トゥ・シーケンスアーキテクチャを採用している。
• 視覚的特徴は事前学習済みのオブジェクト検出モデル（例：CNN）から抽出され、ソース言語特徴は別個の単言語画像キャプションモデルから転送される。
• ソース言語特徴は固定されており、微調整されないため、再訓練なしに異なる言語ペアで再利用可能である。
• モデルは、デコーダーの隠れ状態に視覚的および言語的条件付けベクトルを統合して、ターゲット言語の文を生成する。
• このアプローチは、共同ニューラル機械翻訳モデルとは異なり、ソース言語特徴の学習とターゲットデコードプロセスの学習を分離している。
• モデルは、英語およびドイツ語の説明を用いたIAPR-TC12データセットで評価され、BLEUおよびMeteorが評価指標として用いられている。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの単言語画像説明モデルからの特徴が、ターゲット言語における多言語画像説明を向上させることができるか？
• RQ2 ソース言語からの言語的特徴と視覚的特徴がどのように相互作用し、説明品質を向上させるか？
• RQ3 ソースモデルからのマルチモーダル特徴を転送することで、単言語ベースラインや直接翻訳との比較において、より優れたパフォーマンスが得られるか？
• RQ4 視覚情報だけでは解消できない曖昧さを、ソース言語特徴がどの程度解消できるか？
• RQ5 この転送ベースのアプローチは、再訓練なしに複数の言語ペアに一般化可能か？

主な発見

• 単言語ベースラインと比較して、IAPR-TC12データセットの英語側で、最先端のBLEU4スコアが2.3ポイント向上した。
• ドイツ語側では、単言語画像説明ベースラインに対して8.8のMeteorポイント向上を達成し、本データセットにおけるドイツ語画像説明の報告例としては初の結果となった。
• ソース言語特徴の追加により、低品質な文において最も顕著な向上が見られ、ノイズ低減とモダリティ統合の有効性が示された。
• 翻訳ベースラインを上回ったが、その向上は限定的であった。これは、データセットが独立に収集された説明ではなく、正確な翻訳であるためである。
• 両モダリティからの追加的向上が確認されたことから、言語的特徴と視覚的特徴がマルチモーダルモデリングにおいて直交的な改善をもたらすことが示された。
• 分析結果から、翻訳を目的として訓練されていなくても、ソース言語特徴が非常に有効であることが示され、元のタスクを超えた表現力の高さが示唆された。