[論文レビュー] Analogs of Linguistic Structure in Deep Representations

Jacob Andreas, Dan Klein|arXiv (Cornell University)|Jul 25, 2017

Topic Modeling参考文献 15被引用数 3

ひとこと要約

この論文は、自然言語をプローブとして用いることで、ベクトル空間内に、否定、接続、選言などの解釈可能な言語的類似物を同定する手法を用いて、深層ニューラルネットワーク表現における構成的構造を調査している。真の条件意味論を介してニューラルメッセージベクトルと人間の指差し表現を一致させることで、表現空間における線形変換が論理的演算に対応することが判明し、RNNが言語の教師なし条件下でも構文に類似した構造を自発的に発達させることを示している。

ABSTRACT

We investigate the compositional structure of message vectors computed by a deep network trained on a communication game. By comparing truth-conditional representations of encoder-produced message vectors to human-produced referring expressions, we are able to identify aligned (vector, utterance) pairs with the same meaning. We then search for structured relationships among these aligned pairs to discover simple vector space transformations corresponding to negation, conjunction, and disjunction. Our results suggest that neural representations are capable of spontaneously developing a "syntax" with functional analogues to qualitative properties of natural language.

研究の動機と目的

• 言語データなしで学習された深層ニューラルネットワークが、表現において構成的かつ言語に類似した構造を発達させるかどうかを調査すること。
• 共通の真の条件を共有する基準に基づいて、ニューラルメッセージベクトルと人間が生成した指差し表現を一致させることができるかどうかを特定すること。
• 否定、接続、選言などの論理的演算に対応する表現空間内の幾何的変換を発見し、検証すること。
• これらの変換が線形的で解釈可能であるかどうかを、自然言語を意味的構造のプローブとして用いて調査すること。

提案手法

• 言語データにアクセスできない状態で、指差し表現ゲームにRNNエンコーダ・デコーダモデルを訓練し、メッセージベクトルを生成する。
• 真の条件意味論を用いて、人間が生成した指差し表現の意味的意味と論理的形を計算する。
• 意味の一致を保証するように、ニューラルメッセージベクトルと人間の発話のペアを一致させる。これにより、同等の意味を持つ（ベクトル、発話）ペアが得られる。
• 最小二乗推定を用いて、表現空間における線形変換を学習し、論理的演算（否定、接続、選言）をモデル化する。
• テストデータ上で論理的期待と整合する予測が得られるかどうかを評価することで、学習済み演算子の性能を検証する。
• 主成分分析を用いて、これらの変換の幾何的構造をベクトル空間内で可視化する。

実験結果

リサーチクエスチョン

• RQ1 言語データなしで学習されたニューラル表現が、ゼロショットの通信タスクにおいて自然言語構文の機能的類似物を自発的に発達させるか。
• RQ2 表現空間における線形変換が、否定、接続、選言などの論理的演算に対応するか。
• RQ3 これらの学習済み変換は未観測例にどの程度一般化できるか。また、人間の論理的期待と比較してどの程度一致するか。
• RQ4 自然言語を用いてニューラル表現の意味を解釈するプローブとして、どの程度有効であるか。

主な発見

• モデルは、訓練外の文脈においても、人間の意思決定と90％の一致を示しており、人間とモデルの行動の強い一致を示している。
• 否定のための線形変換は、オブジェクトレベルで論理的予測と97％の一致を示し、全意味的意味レベルでは45％の一致を示している。
• 選言に関しては、オブジェクトレベルで92％の一致、意味的意味レベルでは19％の一致を示しており、部分的ではあるが検出可能な構造があることが示された。
• 接続に関しては、オブジェクトレベルで90％の一致、意味的意味レベルでは37％の一致を示しており、測定可能ながやや不正確な一致があることが示された。
• 可視化により、否定変換がベクトル空間における中心点に関する鏡映像に対応していることが確認され、幾何的規則性が示された。
• 結果として、環境信号のみで学習されたRNNが、解釈可能で言語に類似した構成的構造を表現に発達させることを示した。