[論文レビュー] Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource

Antonis Anastasopoulos, Marika Lekakou+4 more|arXiv (Cornell University)|Jun 11, 2018

Natural Language Processing Techniques参考文献 15被引用数 12

ひとこと要約

本稿では、114件の物語を含む並列Griko-イタリア語コーパスを提示し、10編の物語を対象とした高精度の品詞付与（POS）アノテーションを提供することで、絶滅危惧言語におけるPOSタギング手法の評価を可能にする。半教師あり学習とクロスリンガウル転送を組み合わせることで、500文未塔の学習文で72.9％の精度を達成した。一方、アクティブラーニングを用いることで、単純なCRFモデルが800文を超えるアノテーション文を用いて94％を超える精度を達成した。

ABSTRACT

Most work on part-of-speech (POS) tagging is focused on high resource languages, or examines low-resource and active learning settings through simulated studies. We evaluate POS tagging techniques on an actual endangered language, Griko. We present a resource that contains 114 narratives in Griko, along with sentence-level translations in Italian, and provides gold annotations for the test set. Based on a previously collected small corpus, we investigate several traditional methods, as well as methods that take advantage of monolingual data or project cross-lingual POS tags. We show that the combination of a semi-supervised method with cross-lingual transfer is more appropriate for this extremely challenging setting, with the best tagger achieving an accuracy of 72.9%. With an applied active learning scheme, which we use to collect sentence-level annotations over the test set, we achieve improvements of more than 21 percentage points.

研究の動機と目的

• 計算リソースが極めて限られた絶滅危惧言語であるGriko（イタリオ・ギリシャ語）における品詞付与手法の開発と評価。
• 絶滅危惧言語の低リソース環境下で、単言語データ、クロスリンガウル転送、アクティブラーニングの有効性を評価すること。
• ベンチマークおよび今後のNLP研究のための高品質な並列Griko-イタリア語コーパス（金標準のPOSアノテーションを備える）を構築すること。
• 特に半教師あり学習とクロスリンガウル転送の最適な組み合わせを、低リソースかつ絶滅危惧言語の初期段階の品詞付与に特定すること。
• アクティブラーニングが、データ量の増加に伴い、人的アノテーションコストを低減しつつ、タギング精度を最大化する方法を検討すること。

提案手法

• 114件のGriko物語と文単位のイタリア語訳を含む並列コーパスを構築。Grikoでは合計10.1千文、211.6千語のトークンを含む。
• 高品質な評価を保証するため、3名の専門言語学者が10件の物語（885文）のテストセットに対して金標準のPOSアノテーションを収集。
• 複数の品詞付与モデルを評価：伝統的な特徴ベースの交差エントロピー・タガー、CRFタガー、ニューラルバイリバーシブルLSTMタガー。
• 単語レベルのGriko単語データを用いた半教師あり学習を適用し、小さな金標準アノテーションセットを超えるタギング性能を向上。
• 二言語文レベルのアライメントを活用して、イタリア語訳からGrikoに品詞タグをアライメントベースで転送（クロスリンガウル転送）。
• 単語レベルデータとクロスリンガウルで投影されたタグを統合したハイブリッド手法を採用し、個別手法よりも優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 Grikoのような絶滅危惧言語において、金標準アノテーションが少ないテストセットで訓練された伝統的な品詞付与モデル（例：CRF、bi-LSTM）はどの程度有効か？
• RQ2 Grikoの単語レベルデータは、低リソース環境下で品詞付与精度をどの程度向上できるか？
• RQ3 イタリア語訳からのクロスリンガウル転送によるGrikoへの品詞タグの投影はどの程度効果的か？また、単語レベル手法を上回る性能を示すか？
• RQ4 極めて低リソースな環境下における品詞付与において、半教師あり学習とクロスリンガウル転送の最適な組み合わせは何か？
• RQ5 アノテーション文数の増加に伴い、アクティブラーニングは異なるタギングモデルの性能にどのように影響を与えるか？

主な発見

• 半教師あり学習とクロスリンガウル転送を組み合わせた手法が、360文のアノテーション済み文でのみ利用可能な状況で最高の精度72.9％を達成した。
• 800文を超えるアノテーション文を用いた場合、単純な特徴ベースのCRFモデルが他のすべての手法を上回り、94％を超える精度を達成した。
• クロスリンガウルタグ投影手法の性能は、約85％の精度で頭打ちとなり、追加データの増加に伴い改善しなかった。
• ニューラルbi-LSTMモデルは、370文の段階で最高手法との精度差を14ポイントから、1,100文の段階でわずか2ポイントにまで縮小した。
• 800文を超える学習文が利用可能になると、クロスリンガウルタグ投影が性能に悪影響を及ぼし、収益の減少または干渉を示した。
• 金標準アノテーションテストセットにおける交差検証では、CRFモデルの平均精度が91.9％、標準偏差2％を示し、物語間でのモデルの頑健性を確認した。