[論文レビュー] An Intrinsic Nearest Neighbor Analysis of Neural Machine Translation Architectures

Hamidreza Ghader, Christof Monz|arXiv (Cornell University)|Jul 8, 2019

Natural Language Processing Techniques参考文献 14被引用数 4

ひとこと要約

この論文は、Transformerおよび再帰的アーキテクチャの両方におけるエンコーダー隠れ状態の最近傍を分析することで、ニューラル機械翻訳モデルの内在的特性を検証する。その結果、Transformerは語彙的意味を捉える点で優れているが、文法的構造をモデル化する点で一貫して優れているわけではないことが判明し、双方向RNNでは前向きおよび後向きの層が意味的および文脈的要因を異なる方法でエンコードしていることが明らかになった。

ABSTRACT

Earlier approaches indirectly studied the information captured by the hidden states of recurrent and non-recurrent neural machine translation models by feeding them into different classifiers. In this paper, we look at the encoder hidden states of both transformer and recurrent machine translation models from the nearest neighbors perspective. We investigate to what extent the nearest neighbors share information with the underlying word embeddings as well as related WordNet entries. Additionally, we study the underlying syntactic structure of the nearest neighbors to shed light on the role of syntactic similarities in bringing the neighbors together. We compare transformer and recurrent models in a more intrinsic way in terms of capturing lexical semantics and syntactic structures, in contrast to extrinsic approaches used by previous works. In agreement with the extrinsic evaluations in the earlier works, our experimental results show that transformers are superior in capturing lexical semantics, but not necessarily better in capturing the underlying syntax. Additionally, we show that the backward recurrent layer in a recurrent model learns more about the semantics of words, whereas the forward recurrent layer encodes more context.

研究の動機と目的

• 隠れ状態にエンコードされた情報の内容を分析することを目的とする。
• Transformerおよび再帰的モデルの両方において、隠れ状態の最近傍がどれだけ語彙的意味と文法的構造を捉えているかを調査すること。
• 従来の外部的評価とは異なり、より直接的で内在的な手法を用いて、Transformerと再帰的モデルの意味的および構文的エンコードにおける相対的強みを比較すること。
• 構文的類似性が最近傍のグループ化に果たす役割を調査し、構文的構造が表現のクラスタリングにどのように影響するかを理解すること。

提案手法

• 隠れ状態空間におけるコサイン類似度を用いて、エンコーダー隠れ状態の最近傍を特定する。
• 語彙的類似度を測定する指標を用いて、最近傍とそれらの元となる単語埋め込みの間の意味的類似度を分析する。
• WordNet関連エントリとの比較により、意味的関連性を評価し、語彙的意味の捉え具合を測定する。
• 品詞タギングおよび依存構文解析を用いて、最近傍の文法的構造を評価し、構文的整合性を検証する。
• 双方向RNNの前向きおよび後向きの層を比較し、意味的および文脈的エンコードの違いを特定する。
• 下流の分類器の性能に依存しない、隠れ表現を直接的にプローブする内在的評価を用いる。

実験結果

リサーチクエスチョン

• RQ1 隠れ状態の最近傍は、入力単語の埋め込みとどれほど語彙的意味を共有しているか？
• RQ2 最近傍は文法的構造をどれほど反映しているのか。また、構文的類似性は最近傍形成にどのような役割を果たしているか？
• RQ3 内在的分析を通じて、Transformerと再帰的モデルは語彙的意味と文法的構造をどれほど捉えているか。それぞれのモデルの相違は何か？
• RQ4 意味的および文脈的エンコードという観点から、前向きおよび後向きの再帰的層の機能的差異は何か？

主な発見

• 最近傍と単語埋め込みとの類似度が高いため、Transformerは再帰的モデルに比べて語彙的意味をより優れて捉えている。
• 意味の捉え具合に優れているにもかかわらず、Transformerは一貫して再帰的モデルに比べて文法的構造を捉えているわけではない。
• 双方向RNNの後向き層は、入力単語に関するより多くの意味的情報をエンコードしているが、前向き層はより多くの文脈的依存関係を捉えている。
• 最近傍は顕著な構文的整合性を示しており、隠れ状態空間における最近傍のグループ化に構文的類似性が寄与していることが示唆される。
• 内在的分析により、構文的構造がどの隠れ状態が最近傍となるかを決定する上で測定可能な役割を果たしていることが明らかになった。
• 結果は従来の外部的評価と整合的であるが、異なるアーキテクチャの内在的表現的性質についてより深い洞察を提供している。