[論文レビュー] Better Text Understanding Through Image-To-Text Transfer

Karol Kurach, Sylvain Gelly+5 more|arXiv (Cornell University)|May 23, 2017

Multimodal Machine Learning Applications参考文献 23被引用数 7

ひとこと要約

本稿では、事前学習された畳み込みニューラルネットワーク（CNN）からの画像埋め込みと直接的に整合させるように文レベルのテキスト表現を最適化することで、より良い文レベルのテキスト表現を実現するシンプルだが効果的なモデル、Visually Enhanced Text Embeddings（VETE）を提案する。文の埋め込みを、ペアソン相関損失を用いて対応する画像特徴と一致するようにエンドツーエンドで訓練することで、VETEは、SemEvalのテキスト類似度ベンチマークにおいて、先行するマルチモーダル手法および純粋なテキスト手法を上回り、画像関連のデータセットでは、顕著に少ない学習データで最先端の結果を達成した。

ABSTRACT

Generic text embeddings are successfully used in a variety of tasks. However, they are often learnt by capturing the co-occurrence structure from pure text corpora, resulting in limitations of their ability to generalize. In this paper, we explore models that incorporate visual information into the text representation. Based on comprehensive ablation studies, we propose a conceptually simple, yet well performing architecture. It outperforms previous multimodal approaches on a set of well established benchmarks. We also improve the state-of-the-art results for image-related text datasets, using orders of magnitude less data.

研究の動機と目的

• 画像・テキストペアからの視覚的信号を統合することで、汎用的なテキスト埋め込みを改善すること。
• 単語埋め込みではなく、文埋め込みを直接最適化することで、より良い転移性能が得られるかどうかを調査すること。
• マルチモーダルな設定において、異なるモデルアーキテクチャ、損失関数、学習データセットがテキスト埋め込みの質に与える影響を評価すること。
• BOWのような単純なテキストエンコーダーが、LSTMのような複雑なモデルを上回る可能性があるかどうかを特定すること。

提案手法

• モデルは事前学習済みのCNNを用いて画像埋め込みを抽出し、これを文の埋め込み学習のターゲットとして用いる。
• 文の埋め込みは、単語埋め込みのL2正規化された和として構成され、テキストエンコーダーはエンドツーエンドで訓練される。
• 予測された文-画像類似度と真値の類似度スコアの間のペアソン相関を最適化する。
• 共分散、ペアソン相関、代替 Kendall tau、ペairwiseランキング損失の各損失関数を評価する。
• 単語レベル（後から単語埋め込みを統合）と文レベル（文全体の表現を統合最適化）の訓練方法を比較する。
• 複数のデータセット（MS COCO、SBU、Pinterest5M）でモデルを訓練・評価し、SemEvalベンチマークで性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 文の埋め込みを画像表現と直接的に整合させることで、純粋なテキスト事前学習を超えて、一般のテキスト理解が向上するのだろうか？
• RQ2 視覚的監視のもとで文の埋め込みをエンドツーエンドで訓練することは、まず単語埋め込みを学習してからそれらを統合する手法を上回るのだろうか？
• RQ3 異なるテキストエンコーダー（例：BOW 対 RNN）および損失関数が、マルチモーダルな文の埋め込みの質にどのように影響するのか？
• RQ4 単純なモデルアーキテクチャが、先行の最先端手法よりもはるかに少ない学習データで、テキスト類似度タスクで最先端の結果を達成できるのだろうか？

主な発見

• VETE-BOWはSemEvalベンチマークで0.797のペアソン相関を達成し、先行するマルチモーダルモデルを上回り、画像関連のデータセットでは最先端の結果に並んだ。
• Pinterest5Mデータセットでは、4つの評価セットの平均スコアが0.803に達し、すべてのベースラインを顕著に上回った。
• 文レベルでの訓練は、単語レベルでの訓練（0.576）よりも優れた結果（0.861）をもたらし、共起性や補完的意味をよりよく捉えられることが示された。
• 単純さにもかかわらず、BOWベースのVETEモデルは、より複雑なRNNベースのモデルを上回った。これは、マルチモーダル転移学習において、アーキテクチャの複雑さが必ずしも性能向上をもたらさないことを示唆している。
• 先行の最先端手法と比較して、オーダー・オブ・マグニチュード少ない学習データで、画像関連のテキスト類似度タスクで最先端のパフォーマンスを達成した。
• 代替 Kendall tau（SKT）損失は優れた性能を示し、ペアソン相関の代替として、順位ベースの相関がマルチモーダル学習において価値ある選択肢である可能性を示唆している。