[論文レビュー] Evaluating Layers of Representation in Neural Machine Translation on Part-of-Speech and Semantic Tagging Tasks

Yonatan Belinkov, Lluı́s Màrquez+4 more|arXiv (Cornell University)|Jan 23, 2018

Natural Language Processing Techniques参考文献 26被引用数 81

ひとこと要約

The paper probes how NMT encoder layers encode POS and semantic tagging information by using layer-wise NMT representations as features for word-level POS and SEM tagging classifiers, revealing that lower layers favor POS while higher layers capture semantic information.

ABSTRACT

While neural machine translation (NMT) models provide improved translation quality in an elegant, end-to-end framework, it is less clear what they learn about language. Recent work has started evaluating the quality of vector representations learned by NMT models on morphological and syntactic tasks. In this paper, we investigate the representations learned at different layers of NMT encoders. We train NMT systems on parallel data and use the trained models to extract features for training a classifier on two tasks: part-of-speech and semantic tagging. We then measure the performance of the classifier as a proxy to the quality of the original NMT model for the given task. Our quantitative analysis yields interesting insights regarding representation learning in NMT models. For instance, we find that higher layers are better at learning semantics while lower layers tend to be better for part-of-speech tagging. We also observe little effect of the target language on source-side representations, especially with higher quality NMT models.

研究の動機と目的

• NMTモデルのエンコーダ層がPOSタグ付けの有用な表現を学習する層を特定する。
• NMTモデルのエンコーダ層が意味タグ付け（SEM）に有用な表現を学習する層を特定する。
• NMTを訓練する際にターゲット言語とモデルアーキテクチャがソース側の表現に与える影響を評価する。
• NMT由来の表現をベースラインおよびエンコーダ-デコーダのWord2Tag上限と比較する。

提案手法

• 完全に整合したUNパラレルデータを6言語のターゲット言語でNMTシステムを訓練する。
• 事前訓練済みNMTモデルから各ソース語彙に対するエンコーダ層表現を抽出する。
• 層別特徴を用いてPOSまたはSEMタグを予測する語レベル分類器を訓練する。
• 各タスクに対するNMT表現の質を代理指標として分類器の精度を評価する。
• 層、ターゲット言語、アーキテクチャ（単方向/双方向、残差）を横断して比較する。
• 文脈のベースライン（最頻タグ、教師なし埋め込み）およびエンコーダ-デコーダのWord2Tag上限を用いて比較する。

実験結果

リサーチクエスチョン

• RQ1 NMTモデルのどのエンコーダ層がPOSタグ付けの最良表現を提供するのか。
• RQ2 NMTモデルのどのエンコーダ層がSEMタグ付けの最良表現を提供するのか。
• RQ3 NMTモデルを訓練する際にターゲット言語はソース側表現にどう影響するのか。
• RQ4 双方向エンコーダや残差接続といったアーキテクチャの変種はPOSおよびSEMタグ付けの層別表現品質を変えるのか。
• RQ5 英語の自己符号化器とMT訓練済みエンコーダの間でこれらのタスクの表現品質に差があるのか。

主な発見

• 下位のエンコーダ層はPOSタグ付けにおいて通常はより良い。
• 上位のエンコーダ層はSEMタグ付けの意味情報をよりよく捉える。
• 4層目の表現はターゲット言語を問わずSEMタグ付けを向上させ、しばしば下位層よりも優れる。
• データ量が多い場合、ターゲット言語はソース表現に与える影響が小さい；訓練データが少ない場合に影響がより顕著になる。
• 双方向エンコーダと残差接続は翻訳品質とSEMタグ付け性能を一般に改善するが、SEMはより高階の層からの恩恵を受けやすい。