[論文レビュー] UDPipe at EvaLatin 2020: Contextualized Embeddings and Treebank Embeddings

Milan Straka, Jana Straková|arXiv (Cornell University)|Jun 5, 2020

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、文脈に応じた埋め込みと語彙別表現を備えたUDPipe 2.0を提示し、ラテン語NLPタスクにおいて高い性能を発揮する。EvaLatin 2020合同タスクにおいて、語彙化と品詞タグ付けで最先端の性能を達成し、オープンモダリティで1位、クローズドモダリティのサブタスクで1位または2位を獲得。アブレーションスタディにより、BERTおよびXLM-RoBERTa埋め込みと詳細な語彙別エンコーディングの有効性が確認された。

ABSTRACT

We present our contribution to the EvaLatin shared task, which is the first evaluation campaign devoted to the evaluation of NLP tools for Latin. We submitted a system based on UDPipe 2.0, one of the winners of the CoNLL 2018 Shared Task, The 2018 Shared Task on Extrinsic Parser Evaluation and SIGMORPHON 2019 Shared Task. Our system places first by a wide margin both in lemmatization and POS tagging in the open modality, where additional supervised data is allowed, in which case we utilize all Universal Dependency Latin treebanks. In the closed modality, where only the EvaLatin training data is allowed, our system achieves the best performance in lemmatization and in classical subtask of POS tagging, while reaching second place in cross-genre and cross-time settings. In the ablation experiments, we also evaluate the influence of BERT and XLM-RoBERTa contextualized embeddings, and the treebank encodings of the different flavors of Latin treebanks.

研究の動機と目的

• ラテン語という低リソースな歴史的言語向けに、語彙化と品詞タグ付けの高精度なNLPシステムを構築すること。
• 文脈に応じた埋め込み（BERT、XLM-RoBERTa）および語彙別表現の有効性が、ラテン語NLP性能に与える影響を評価すること。
• 複数の設定（オープン・クローズドモダリティ、古典的・ジャンル跨ぎ・時代跨ぎタスク）でラテン語テキストを評価するEvaLatin 2020共同タスクに参加すること。
• 特にUniversal Dependenciesラテン語語彙別データセットを追加で用いることで、システム性能に与える影響を分析すること。

提案手法

• システムはUDPipe 2.0の共同アーキテクチャを用い、共有の双方向LSTM層を介して同時に語彙化と品詞タグ付けを予測する。
• 入力単語表現は、エンドツーエンド埋め込み、文字レベルの双方向GRU（256次元）、FastText埋め込み（300次元）、および事前学習済みの文脈に応じた埋め込み（BERTまたはXLM-RoBERTa、768次元）を組み合わせる。
• 語彙化は、表面形を語彙形に修正する編集スクリプトを予測する分類器を用い、文字レベルの埋め込みを入力として用いる。
• 語彙別埋め込みは、ラテン語の方言や著者ごとの差異をモデル化するために、さまざまな細粒度で統合される。
• クローズドモダリティではEvaLatin学習データで微調整され、オープンモダリティではさらにすべてのUD 2.5ラテン語語彙別データセットを追加で用いる。
• アブレーションスタディにより、BERT、XLM-RoBERTa、および語彙別埋め込みが性能向上に与える寄与を分離して分析する。

実験結果

リサーチクエスチョン

• RQ1 BERT や XLM-RoBERTa などの文脈に応じた埋め込みは、低リソースなラテン語NLPにおける語彙化と品詞タグ付けにどのように寄与するか？
• RQ2 多様な方言的・時代的特徴を有する複数のラテン語語彙別データを統合することで、性能にどのような影響を与えるか？
• RQ3 語彙別埋め込みは、ジャンルや時代に特化したラテン語の言語的パターンをどれほど的確に捉えられるか？
• RQ4 追加の教師ありデータ（オープンモダリティ）を用いることで、EvaLatinデータのみで学習する（クローズドモダリティ）よりも顕著に性能が向上するか？
• RQ5 文脈に応じた埋め込み、語彙別エンコーディング、データ統合のうち、どれが性能向上に最も寄与しているか？

主な発見

• オープンモダリティでは、語彙化と品詞タグ付けの両方で最高の性能を達成し、他のすべての提出物を大きく上回った。
• クローズドモダリティでは、語彙化で1位、古典的品詞タグ付けサブタスクで1位、ジャンル跨ぎおよび時代跨ぎ設定で2位を達成した。
• アブレーションスタディにより、XLM-RoBERTaおよびBERT埋め込みが性能向上に顕著に寄与しており、XLM-RoBERTaのほうがBERTよりもより強い向上効果を示した。
• 細粒度の語彙別埋め込み（例：著者別・ジャンル別）は、特にジャンル跨ぎおよび時代跨ぎ設定で性能向上に寄与した。
• UD 2.5ラテン語語彙別データセットをすべて統合したオープンモダリティでの学習は、性能を顕著に向上させ、多言語的・多方言的事前学習データの価値を示した。
• 編集スクリプトベースの語彙化を採用した共同モデルアーキテクチャは、文脈に応じた埋め込みと文字レベル表現と組み合わせることで特に効果的であった。