[論文レビュー] From phonemes to images: levels of representation in a recurrent neural model of visually-grounded language learning

Lieke Gelderloos, Grzegorz Chrupała|arXiv (Cornell University)|Oct 11, 2016

Multimodal Machine Learning Applications参考文献 38被引用数 23

ひとこと要約

本稿では、音声的発音表記による画像説明を視覚的特徴にマッピングするように学習するスタック型ゲート付き再帰ニューラルネットワークを提案する。このモデルは、言語構造の階層的表現を示しており、下位層は発音形式と短期的依存関係をエンコードし、上位層は意味的意味と長距離依存関係を捉える。モデルは、原始的な音素から画像に至るまでの形式と意味のマッピングを、層を介して段階的に抽象化しながら学習する。

ABSTRACT

We present a model of visually-grounded language learning based on stacked gated recurrent neural networks which learns to predict visual features given an image description in the form of a sequence of phonemes. The learning task resembles that faced by human language learners who need to discover both structure and meaning from noisy and ambiguous data across modalities. We show that our model indeed learns to predict features of the visual context given phonetically transcribed image descriptions, and show that it represents linguistic information in a hierarchy of levels: lower layers in the stack are comparatively more sensitive to form, whereas higher layers are more sensitive to meaning.

研究の動機と目的

• 音声的発音表記を用いた言語獲得のシミュレーションを通じて、子供がノイズの多いマルチモodalな入力から言語を学ぶプロセスをモデル化すること。
• 原始的感覚的データで訓練されたスタック型再帰ネットワークが、音素から意味へと至る階層的言語表現を学習できるかどうかを調査すること。
• 深層RNNの異なる層が形式と意味をどのようにエンコードしているか、および時間的依存関係が層を跨いでどのように表現されているかを分析すること。
• ベクトル表現を通じて、発音的類似性と意味的類似性の両方をモデルが捉えられるかを評価すること。
• 単語の区切りなしの連続音声信号から視覚的特徴へのエンドツーエンド学習の可能性を検討すること。

提案手法

• モデルは、音素列を1つずつ処理するスタック型ゲート付き再帰ユニット（GRU）を用い、層全体にわたる分散表現として意味的表現を構築する。
• 各文は、MS-COCOデータセットからの音声的発音表記として表現され、スタックされたGRU層を順次処理する。
• 最上位のGRUの最終隠れ状態が、画像特徴空間に射影され、コントラスト損失を用いて真値の視覚的特徴と比較される。
• モデルは、予測された画像特徴と実際の画像特徴の距離を最小化するように訓練され、形式と意味のマッピングのエンドツーエンド学習が可能になる。
• 分析には、活性化ベクトル間のコサイン類似度比較、編集距離の相関、層を跨ぐ最近接部分文字列の位置追跡が含まれる。
• モデルの評価には、人間の類似性判断、編集距離、視覚的特徴再構築性能が用いられる。

実験結果

リサーチクエスチョン

• RQ1 音声的発音表記と視覚的入力で訓練された深層再帰ネットワークの異なる層が、言語構造をどのように表現するか。
• RQ2 グラウンド付き言語学習の文脈において、下位層が発音形式を、上位層が意味的意味をどれほどエンコードしているか。
• RQ3 入力シーケンス内の時間的依存関係が、情報保持とタイムスケールの観点から、層を跨いでどのように現れるか。
• RQ4 モデルが内部表現において発音的類似性と意味的類似性の両方を表現できるか。
• RQ5 モデルの内部表現が、人間の語の類似性判断や発音距離の認識と比べてどの程度類似しているか。

主な発見

• 最初の隠れ層では、活性化ベクトルのコサイン類似度と音素レベルの編集距離との間に、最も強い負の相関（ρ = -0.30）が観察され、発音形式に対して高い感受性を示している。
• 3番目の隠れ層では、編集距離との相関は弱いが依然として有意（ρ = -0.15）であり、形式類似度よりも人間の意味的類似性判断との相関が高くなっている。
• 最近接の文同士の共通部分文字列の平均位置は、層1で末尾付近（平均位置 = 12.1）にあり、層3では先頭付近（平均位置 = 16.8）にシフトしており、上位層でより長い時間的文脈を保持していることが示唆されている。
• モデルは、区切りのない音素列から視覚的特徴を効果的に予測できており、未分割の音素列からの意味の学習が成功している。
• モデルのコサイン類似度と人間の意味的類似性との間でスピアマンの順位相関が有意（p < 1e-4）に認められ、上位層が意味的表現をエンコードしていることが確認された。
• モデルの最上位層の活性化パターンは、語区切りを予測可能であり、スタック全体で形式から意味へと段階的な抽象化が進んでいることが示された。