[論文レビュー] Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection

Meng Fang, Trevor Cohn|arXiv (Cornell University)|Jul 5, 2016

Natural Language Processing Techniques参考文献 24被引用数 6

ひとこと要約

本論文では、少量のゴールスタンダード品詞タグとノイズが多いクロスリンガルに投影されたタグを、バイアス補正層を用いて投影誤りを是正するように、共同で学習する新しいニューラル系列タギングモデルを提案する。BiLSTMフレームワーク内に、投影タグとゴールタグの間の学習可能な変換を統合することで、8つの模擬的低リソース言語および2つの実際の低リソース言語（マラガシ語：86.7%の正解率、キニヤルワンダ語：82.6%）において、最先端の性能を達成した。

ABSTRACT

Cross lingual projection of linguistic annotation suffers from many sources of bias and noise, leading to unreliable annotations that cannot be used directly. In this paper, we introduce a novel approach to sequence tagging that learns to correct the errors from cross-lingual projection using an explicit debiasing layer. This is framed as joint learning over two corpora, one tagged with gold standard and the other with projected tags. We evaluated with only 1,000 tokens tagged with gold standard tags, along with more plentiful parallel data. Our system equals or exceeds the state-of-the-art on eight simulated low-resource settings, as well as two real low-resource languages, Malagasy and Kinyarwanda.

研究の動機と目的

• ゴールアノテートデータが乏しい低リソース品詞タギングの課題に対処すること。
• 誤った語の対応付けや構文的乖離によって誤りが生じやすいクロスリンガル品詞タグの投影の信頼性を向上させること。
• ゴールスタンダードのアノテーションと投影タグの両方を、それらの間のマッピングを明示的にモデル化する統一的なディープラーニングフレームワークで共同で学習すること。
• 投影タグの信頼度を学習し、遠隔監視におけるノイズとバイアスの影響を軽減する方法を開発すること。
• マラガシ語やキニヤルワンダ語などの実際の低リソース言語を含め、模擬的低リソース言語および実際の低リソース言語の両方で、本手法の有効性を示すこと。

提案手法

• モデルは入力系列を符号化し、ゴールスタンダードタグと投影タグの2つの出力を生成するため、双方向LSTM（BiLSTM）ネットワークを用いる。
• 投影タグ（高リソース言語からのもの）から低リソースターゲット言語のゴールスタンダードタグへのマッピングをモデル化するため、学習可能な変換層（バイアス補正層）を導入する。
• バイアス補正層はバックプロpagationを用いてエンドツーエンドで学習され、その信頼性に応じて投影タグをどの程度信頼するかをモデルが学習できる。
• ゴールラベル付きデータと投影データの両方を共同で学習することで、大規模なノイズを含むデータを活用しつつ、少量のゴールデータによって是正される。
• バイアス補正層内の変換行列Aは、タグセット間の学習されたマッピングを捉えており、対角成分は投影タグの信頼度を示し、非対角成分は補正や再割り当てを示す。
• 本手法は、模擬的低リソース設定および実際の低リソース言語（マラガシ語やキニヤルワンダ語を含む）を用いて評価され、バイアス補正層の寄与を検証するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 少量のゴールスタンダードデータと大規模な投影データを共同で学習させたニューラルモデルは、クロスリンガル品詞タグの誤りを効果的に是正できるか？
• RQ2 学習可能なバイアス補正層を含めることで、ゴールデータと投影データを単純に統合する手法と比較して、品詞タギング性能がどのように向上するか？
• RQ3 言語的乖離度が異なる多様な低リソース言語に、本モデルはどの程度一般化できるか？
• RQ4 学習された変換行列は、投影タグの信頼度と、元言語とターゲット言語の構造的差異をどの程度反映しているか？
• RQ5 本モデルは、模擬的および実際の低リソース品詞タギングの両方のシナリオで、既存の最先端手法を上回る性能を発揮するか？

主な発見

• 提案されたBiLSTMデバイアスモデルは、マラガシ語で86.7%、キニヤルワンダ語で82.6%の正解率を達成し、先行研究で報告された最先端の結果を上回った。
• 8つの模擬的低リソース言語において、本モデルは一貫して既存手法を上回るか同等の性能を示し、バイアス補正機構による一貫した向上効果を示した。
• 学習された変換行列には強い対角成分が見られ、多くの投影タグが信頼されていることが示されたが、非対角成分にも顕著な重みが存在し、例えば、定冠詞のない言語では名詞に定冠詞をマッピングするような体系的な補正が明らかになった。
• 平行コーパスが豊富にある場合、バイアス補正層の性能向上が顕著に現れ、マラガシ語（より多くの平行データ）ではキニヤルワンダ語（少ない平行データ）よりも顕著な改善が見られた。
• ユニバーサルタグセットではなく、元のPenn Treebankタグセットを用いることで、わずかだが一貫した性能向上が得られた。これは、タグセットマッピングに起因する情報損失を、より豊富なタグの違いを保持することで軽減できることを示唆している。
• 投影データのみで直接学習すると性能が低下する（マラガシ語で67.2%）ことから、ノイズを是正するためのバイアス補正機構が、単にデータを統合するのではなく不可欠であることが示された。