[論文レビュー] Model Transfer for Tagging Low-resource Languages using a Bilingual Dictionary

Meng Fang, Trevor Cohn|arXiv (Cornell University)|May 1, 2017

Topic Modeling参考文献 12被引用数 6

ひとこと要約

本稿では、二語対訳辞書を用いて遠隔教師付き学習のための多言語埋め込みを生成し、小規模な正解ラベル付きデータセットと組み合わせてマルチタスク学習により、低資源言語のPOSタギングフレームワークを提案する。非線形変換と語の種別に関する不確実性を用いたアクティブラーニングを採用することで、アノテーションの必要量を10分の1に削減しながら、並列コーパスを必要とせず、最先端の性能を達成する。

ABSTRACT

Cross-lingual model transfer is a compelling and popular method for predicting annotations in a low-resource language, whereby parallel corpora provide a bridge to a high-resource language and its associated annotated corpora. However, parallel data is not readily available for many languages, limiting the applicability of these approaches. We address these drawbacks in our framework which takes advantage of cross-lingual word embeddings trained solely on a high coverage bilingual dictionary. We propose a novel neural network model for joint training from both sources of data based on cross-lingual word embeddings, and show substantial empirical improvements over baseline techniques. We also propose several active learning heuristics, which result in improvements over competitive benchmark methods.

研究の動機と目的

• 低資源言語のPOSタギングにおいて並列コーパスの欠如を解消するため、二語対訳辞書を用いてそれらを置き換えること。
• 多言語埋め込みからの遠隔教師付き学習と小規模な正解ラベル付きデータセットを共同で学習することで、低資源環境におけるモデル性能を向上させること。
• 低資源・低教師信号環境に特化した効果的なアクティブラーニングのヒューリスティクスを設計することで、アノテーションコストを低減すること。
• 非線形変換により遠隔ラベルを変換することで、線形手法よりも多言語間転送において効果的であることを示すこと。
• 語の種別レベルでのアクティブラーニング、不確実性と頻度バイアスを組み合わせた手法が、トークンまたは文レベルのサンプリングをはるかに上回ることを示すこと。

提案手法

• 二語対訳辞書と単語彙のコーパスを用いて、CCAまたはクラスタリングベースの手法により多言語語彙埋め込みを学習する。
• BiLSTM-CRFアーキテクチャ内で、多言語埋め込みからの遠隔教師付き学習と正解ラベル付きデータを統合するマルチタスク学習モデルを構築する。
• 多層パーセプトロンを用いて遠隔ラベルを非線形変換し、言語固有のパターンや誤り補正のパターンをよりよく捉える。
• アクティブラーニングのヒューリスティクスには、語の種別レベルでの不確実性サンプリングに加え、情報量が多くてまれな語を優先する頻度バイアスを組み込む。
• モデルは早期停止とモーメンタム付きSGDを用い、DyNetで学習し、複数の低資源言語で性能を評価する。
• 遠隔教師付き学習は、埋め込みからの多言語語彙アラインメントにより実施され、並列文ペアに依存しない。

実験結果

リサーチクエスチョン

• RQ1 二語対訳辞書のみで、低資源言語における有効な多言語間教師付き学習を提供できるか？
• RQ2 多言語埋め込みからの遠隔教師付き学習と小規模な正解ラベル付きデータセットを共同で学習することで、単独で用いる場合よりもタギング精度が向上するか？
• RQ3 POSタギングにおける多言語間転送において、遠隔ラベルの非線形変換が線形手法を上回るか？
• RQ4 語の種別レベルでの不確実性と頻度バイアスに基づくアクティブラーニング戦略は、トークンまたは文レベルのサンプリングよりも、アノテーションコストをより効果的に削減できるか？
• RQ5 多言語埋め込みの品質（例：CCA対クラスタリング）が、低資源環境における性能に与える影響は何か？

主な発見

• マルチタスク学習を用いた統合モデルは、全テスト対象の低資源言語で、バイナリ・LSTMおよびBiLSTM-CRFを含むベースラインを常に上回る性能を示した。
• 遠隔教師付き学習のみでも妥当な精度を達成するが、正解データとの共同学習により、全言語で顕著な向上が得られた。
• 提案手法により、アノテートされたデータ量を10分の1に削減可能であり、1,000語ではなく100語のラベル付きデータで同等の性能を達成した。
• 語の種別レベルでの不確実性と頻度バイアスを組み合わせたアクティブラーニング（SumType (Joint)）が、他のすべてのヒューリスティクス、特に従来のトークン・または文レベルのサンプリングを上回った。
• 統合モデルにおける非線形変換は、BiLSTM-Debiasで用いられる線形変換よりも顕著に性能を向上させ、誤りモデリングがより効果的であることを示した。
• ヨーロッパ言語の性能は、トゥルク語系言語よりも高いが、これは英語との言語的類似性と、より優れた辞書品質によるものと推定される。