[論文レビュー] Improving part-of-speech tagging via multi-task learning and character-level word representations

Daniil Anastasyev, Ilya Gusev+1 more|arXiv (Cornell University)|Jul 2, 2018

Natural Language Processing Techniques参考文献 8被引用数 7

ひとこと要約

この論文では、順方向ニューラルネットワークを用いた新しい文字レベルの単語表現を導入し、隣接ラベル予測損失を用いたマルチタスク学習を適用することで、品詞タギングの性能を向上させた。この手法は、英語およびロシア語のデータセットにおいてモデルの性能と学習速度を向上させ、ラベル依存関係と事前学習済みの文字表現の共同学習により、最先端の結果を達成した。

ABSTRACT

In this paper, we explore the ways to improve POS-tagging using various types of auxiliary losses and different word representations. As a baseline, we utilized a BiLSTM tagger, which is able to achieve state-of-the-art results on the sequence labelling tasks. We developed a new method for character-level word representation using feedforward neural network. Such representation gave us better results in terms of speed and performance of the model. We also applied a novel technique of pretraining such word representations with existing word vectors. Finally, we designed a new variant of auxiliary loss for sequence labelling tasks: an additional prediction of the neighbour labels. Such loss forces a model to learn the dependencies in-side a sequence of labels and accelerates the process of training. We test these methods on English and Russian languages.

研究の動機と目的

• 文字レベルの単語表現とマルチタスク学習を用いて、品詞タギングの性能を向上させること。
• 順方向ニューラルネットワークを用いて、より高速で効果的な文字レベルの表現手法を設計すること。
• ラベル系列の依存関係を捉える補助損失を検討し、一般化性能の向上を図ること。
• 英語およびロシア語の両方で手法を評価し、多言語的有効性を示すこと。
• 既存の単語ベクトルを用いて文字表現を事前学習することで、初期化と性能の向上を図ること。

提案手法

• 順方向ニューラルネットワークに基づく文字レベルの単語表現を提案し、推論および学習の高速化を図るために従来のRNNの代わりに採用した。
• 既存の単語ベクトルを用いて文字レベルの表現を事前学習することで、初期化の質を向上させ、意味情報を捉えるようにした。
• 隣接するラベルを予測する新しい補助損失を導入し、局所的なラベル一貫性を強制した。
• BiLSTMに基づく品詞タギングフレームワークに補助損失を統合し、マルチタスク学習を可能にした。
• 主な品詞タギング目的と隣接ラベル予測損失の両方を用いて、エンドツーエンドでモデルを学習した。
• 英語およびロシア語の両方のデータセットを用いて、多言語設定下での手法の評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 順方向ベースの文字レベル表現は、品詞タギングにおいて、RNNベースの代替手法と比較して速度と精度の面で優れているか？
• RQ2 既存の単語ベクトルを用いて文字レベルの表現を事前学習することで、下流の品詞タギング性能が向上するか？
• RQ3 隣接ラベルを予測する補助損失は、ラベル系列モデリングを向上させ、収束を加速するか？
• RQ4 ロシア語のような低リソース言語や屈曲的豊富な言語において、隣接ラベル予測を用いたマルチタスク学習は、一般化性能をどの程度向上させるか？
• RQ5 統合されたタギングフレームワークにおいて、提案された各構成要素はどのように相互作用するか？

主な発見

• 提案された順方向ベースの文字レベル表現は、RNNベースの代替手法と比較して、より高速な学習および推論を達成した。
• 既存の単語ベクトルを用いた文字表現の事前学習により、英語およびロシア語の両方のデータセットで性能が向上した。
• 隣接ラベル予測損失は、モデルの収束を著しく加速させるとともに、タギング精度を向上させた。
• 文字レベル表現と補助損失を用いたマルチタスク学習の組み合わせにより、両言語で最先端の結果が達成された。
• ラベル依存関係のより良いモデリングのおかげで、特に屈曲的で複雑なロシア語においても優れた一般化性能を示した。
• この手法は頑健性と効率性を兼ね備えており、低リソース言語や屈曲的豊富な言語の設定に適していることが示された。