[論文レビュー] Learning language through pictures

Grzegorz Chrupała, Ákos Kádár+1 more|arXiv (Cornell University)|Jun 11, 2015

Multimodal Machine Learning Applications参考文献 26被引用数 9

ひとこと要約

この論文では、画像特徴量と次なる単語を、文脈的なシーン記述から同時に予測することで、意味的言語表現を学習するマルチモーダル再帰ニューラルネットワーク、IMAGINETを紹介する。共有語埋め込みと2つの並列GRUネットワークを用いたマルチタスク目的関数により、モデルは語の意味と文構造の知識を獲得し、語の類似度、画像検索、並び替え検出のタスクでベースラインを上回る性能を発揮する。

ABSTRACT

We propose Imaginet, a model of learning visually grounded representations of language from coupled textual and visual input. The model consists of two Gated Recurrent Unit networks with shared word embeddings, and uses a multi-task objective by receiving a textual description of a scene and trying to concurrently predict its visual representation and the next word in the sentence. Mimicking an important aspect of human language learning, it acquires meaning representations for individual words from descriptions of visual scenes. Moreover, it learns to effectively use sequential structure in semantic interpretation of multi-word phrases.

研究の動機と目的

• 人間が言語習得の過程で視覚的文脈を通じて語の意味を学ぶプロセスをモデル化すること。
• ペアド画像・テキストデータから同時に視覚的表現と順序付き言語構造を学習する深層学習アーキテクチャを開発すること。
• 視覚的接地が個々の語や複数語のフレーズの意味的表現の質を向上させる役割を調査すること。
• 再帰モデルとマルチタスク学習が、bag-of-wordsアプローチを越えた文レベルの意味を捉えられることを検証すること。
• 文構造が画像およびキャプション検索性能に与える影響を評価すること。

提案手法

• IMAGINETは、共有語埋め込みを用いた2つの並列Gated Recurrent Unit (GRU) ネットワークを用いて、テキスト記述を処理する。
• 1つのGRUは、文全体を処理した後に、記述されたシーンの視覚的特徴表現を予測する。
• もう1つのGRUは、各時刻ステップで文の次の単語を予測し、言語モデリングを可能にする。
• モデルは、視覚的再構成と次の単語予測を組み合わせたマルチタスク学習目的関数を用い、可変な損失重み付けが可能である。
• GRUは、急勾配のシグモイドゲートと、0から5にクリッピングされたReLU活性化関数を用い、安定性と表現力の両方を確保する。
• モデルは、ペアド画像・キャプションデータ上でエンドツーエンドに訓練され、文を視覚的特徴量にマッピングし、順序付き言語を予測する能力を学ぶ。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に視覚的シーンに語を接地させることで、ニューラルネットワークが意味的な語表現を学習できるか？
• RQ2 文構造を学習することで、画像およびキャプション検索タスクのパフォーマンスがどの程度向上するか？
• RQ3 視覚的および言語的監視を併用することで、単モodal監視と比較して、学習された文表現の質がどのように変化するか？
• RQ4 視覚的および順序的信号のみを用いて、モデルが並び替え検出や語の類似度判断に一般化できるか？
• RQ5 モデルは、文の語順と文法的構造の解釈に対してどの程度感受性を示すか？

主な発見

• IMAGINETは、人間の語の類似度評価と顕著に相関しており、語彙的意味論の有効な習得を示している。
• 画像検索において、多変量線形回帰ベースラインを上回り、特に元の文の語順を使用した場合に顕著な性能向上を示している。
• 文の語順が入れ替えられると、画像検索およびキャプション検索の両方の性能が低下し、文法的構造に感受性があることが示された。
• モデルは、単一語や複数語のフレーズに対し、適切な視覚的解釈を検索できており、効果的な意味的合成が実現している。
• 視覚パスの最終隠れ状態が文レベルの意味を捉えており、並び替え検出タスクにおける頑健な性能を実現している。
• 損失重み付けにかかわらずモデルの性能が安定しており、視覚的および言語的目的両方が表現学習に有意義に寄与している。