[論文レビュー] Cross-lingual Pseudo-Projected Expectation Regularization for Weakly Supervised Learning

Mengqiu Wang, Christopher D. Manning|arXiv (Cornell University)|Oct 6, 2013

Natural Language Processing Techniques参考文献 36被引用数 10

ひとこと要約

本稿では、弱教師付き手法であるCross-lingual Pseudo-Projected Expectation Regularization (CLiPPER)を提案する。この手法は、翻訳対文書を介してラベルではなくモデルの期待値を転送することで、低資源言語における序列抽出の性能を向上させる。一般化期待値（Generalized Expectation）フレームワークを用いて期待値を制約として表現することで、CLiPPERはラベルなしで中国語NLPで64%、ドイツ語NLPで60%のSOTA F1スコアを達成し、数千件のラベル付き例を用いて訓練された教師ありCRFを上回る性能を示した。

ABSTRACT

We consider a multilingual weakly supervised learning scenario where knowledge from annotated corpora in a resource-rich language is transferred via bitext to guide the learning in other languages. Past approaches project labels across bitext and use them as features or gold labels for training. We propose a new method that projects model expectations rather than labels, which facilities transfer of model uncertainty across language boundaries. We encode expectations as constraints and train a discriminative CRF model using Generalized Expectation Criteria (Mann and McCallum, 2010). Evaluated on standard Chinese-English and German-English NER datasets, our method demonstrates F1 scores of 64% and 60% when no labeled data is used. Attaining the same accuracy with supervised CRFs requires 12k and 1.5k labeled sentences. Furthermore, when combined with labeled examples, our method yields significant improvements over state-of-the-art supervised methods, achieving best reported numbers to date on Chinese OntoNotes and German CoNLL-03 datasets.

研究の動機と目的

• ラベルデータが乏しい多言語環境下における低資源名前付きエンティティ認識（NER）の課題に対処すること。
• 英語などのリソース豊富な言語から中国語・ドイツ語などの低資源言語へ、翻訳対文書を用いて転移学習を改善すること。
• ラベルをハード制約として扱う従来のラベル転送手法の限界を克服し、モデルの不確実性を捉えられないこと。
• 言語間をまたいでソフトで確率的な期待値を転送し、識別的モデルの学習をガイドする手法を開発すること。

提案手法

• 翻訳対文書を介して、ラベルではなくモデルの期待値を転送することで、不確実性や信頼度の情報も同時に転送する。
• 一般化期待値（GE）基準フレームワークを用いて、期待値をソフト制約として表現し、モデル期待値とターゲット期待値の乖離を最小化する。
• 教師ありおよび半教師ありの目的関数を一度の最適化ステップで同時に最適化することで、判別的条件付きランダムフィールド（CRF）モデルを訓練する。
• 複数の対応語対の期待値を平均化するソフトプロジェクション戦略（CLiPPER s）を用いることで、ハードプロジェクション（CLiPPER h）よりもロバスト性を向上させる。
• 自動語対応を活用して、元言語の予測を対象言語のトークンにマッピングし、明示的なラベル転送なしに期待値を転送可能にする。
• ラベルなしの対訳文書を直接学習目的関数に統合することで、「プロジェクト・次に訓練する」パイプラインを不要にする。

実験結果

リサーチクエスチョン

• RQ1 翻訳対文書を介して、ラベルなしで低資源NERの性能を向上させるために、モデルの期待値を効果的に転送できるか？
• RQ2 性能とロバスト性の観点から、ソフト期待値プロジェクションはハードラベルプロジェクションに比べてどのように優れているか？
• RQ3 期待値に基づく制約は、従来のラベル転送や特徴ベースの制約を上回る性能を発揮できるか？
• RQ4 多言語NLPにおける大規模な手動アノテーションの必要性を、期待値転送によってどの程度低減できるか？
• RQ5 ジョイントトレーニング目的関数に期待値正則化を統合することで、マルチステージパイプラインに比べて効率性と性能が向上するか？

主な発見

• CLiPPER sは、中国語OntoNotesで64% F1、ドイツ語CoNLL-03 NERで60% F1を達成し、ラベル例がゼロの状態で、それぞれ12,000および1,500文のラベル付き例を用いて訓練された教師ありCRFを上回った。
• 中国語およびドイツ語の両データセットにおいて、最先端の手法（CWD13およびBPBK10を含む）すべてのベースラインを統計的に有意に上回る性能を示した。
• ソフト期待値プロジェクション（CLiPPER s）は、ハードプロジェクション（CLiPPER h）を一貫して上回り、転送中に不確実性を保持することの利点を実証した。
• ジョイント最適化のおかげで、CLiPPERは大幅にトレーニング時間を短縮した—中国語で1時間40分、ドイツ語で18分51秒—一方、最も遅いベースライン（CWD13）は中国語で16時間42分、ドイツ語で4時間49分を要した。
• 誤差解析により、期待値転送が、元言語の文脈的情報を活用することで曖昧なエンティティ（例：'Gao Gang' が人物か場所か）の解釈を改善することが確認された。
• 本手法は低資源設定にうまく一般化され、少量のラベル付きデータと組み合わせても強く、両ベンチマークデータセットで報告された最高の結果を達成した。