[論文レビュー] Robust Multilingual Part-of-Speech Tagging via Adversarial Training

Michihiro Yasunaga, Jungo Kasai+1 more|arXiv (Cornell University)|Nov 14, 2017

Topic Modeling参考文献 47被引用数 13

ひとこと要約

本稿では、語彙および文字埋め込みの敵対的訓練（AT）を用いて一般化性能を向上させる、耐障害性のある多言語形態素解析（POS）タギングモデルを提案する。この手法は、低リソース言語、希少語・未知語、および下流の依存解析タスクにおいても精度を向上させるとともに、27か国語におけるより明確で意味的に整合性のとれた語の表現を学習する。

ABSTRACT

Adversarial training (AT) is a powerful regularization method for neural networks, aiming to achieve robustness to input perturbations. Yet, the specific effects of the robustness obtained from AT are still unclear in the context of natural language processing. In this paper, we propose and analyze a neural POS tagging model that exploits AT. In our experiments on the Penn Treebank WSJ corpus and the Universal Dependencies (UD) dataset (27 languages), we find that AT not only improves the overall tagging accuracy, but also 1) prevents over-fitting well in low resource languages and 2) boosts tagging accuracy for rare / unseen words. We also demonstrate that 3) the improved tagging performance by AT contributes to the downstream task of dependency parsing, and that 4) AT helps the model to learn cleaner word representations. 5) The proposed AT model is generally effective in different sequence labeling tasks. These positive results motivate further use of AT for natural language tasks.

研究の動機と目的

• 現在のPOSタガーモデルが低リソース言語および希少語・未知語に対して示す限界を是正すること。
• 敵対的訓練（AT）が多言語NLPタスクにおける耐障害性および一般化性能を向上させるかどうかを調査すること。
• ATが下流の依存解析および語の表現品質に与える影響を評価すること。
• POSタギングを超えるさまざまな系列ラベル付けタスクへのATの一般化可能性を評価すること。
• 言語的および統計的分析を通じて、AT効果の解釈可能性を提供すること。

提案手法

• 訓練中に入力語彙および文字埋め込みを摂動させることで、BiLSTM-CRF POSタギングモデルに敵対的訓練を適用する。
• 摂動スケール α を用いた投影勾配降下法（PGD）を用いて、埋め込みレベルでの最悪ケース摂動 η を生成する。
• 元の例と敵対的例の両方でモデルを訓練し、入力摂動に対する耐障害性を向上させる。
• 各トークンの入力表現として、連結された語彙埋め込みと文字レベルBiLSTM出力を使用する。
• Penn Treebank WSJ および Universal Dependencies（27言語）データセットでモデルを評価する。
• 摂動スケール α のアブレーションスタディを実施し、語の表現品質およびタギング精度に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、多様な低リソース言語におけるPOSタギング性能にどのように影響するか？
• RQ2 ATは、希少語または未知語のタギング精度をどの程度向上させるか？
• RQ3 ATによる向上したタギング性能は、依存解析などの下流タスクにどのように伝播するか？
• RQ4 ATは、学習された語の表現の品質および意味的整合性にどのように影響するか？
• RQ5 ATの有効性は、語彙サイズや語の頻度といった言語的要因に依存するか？

主な発見

• 敵対的訓練は、Universal Dependencies データセットに含まれる全27言語において一貫してPOSタギング精度を向上させ、そのうち22言語で最先端の性能を達成した。
• 低リソース言語において顕著な向上を示し、過学習に対する強力な正則化効果を示した。
• ATは文単位の精度を向上させるとともに、通常のタガーモデルが困難とされる希少語・未知語の性能を大幅に向上させた。
• 向上したPOSタギング性能は、下流の依存解析タスクにおいても明確な改善をもたらし、パイプライン型NLPシステムにおける実用性を確認した。
• 敵対的訓練により、より明確で意味的に整合性のとれた語の表現が得られ、学習済み埋め込みとPOSタグとの相関性が強まった。
• この手法は他の系列ラベル付けタスクにも効果的に一般化され、CoNLL-2000（句切り分け）ではF1スコアが0.07ポイント、CoNLL-2003（NER）では0.34ポイント向上した。