[論文レビュー] Read, Tag, and Parse All at Once, or Fully-neural Dependency Parsing

Jan Chorowski, Michał Zapotoczny+1 more|arXiv (Cornell University)|Sep 12, 2016

Natural Language Processing Techniques参考文献 31被引用数 4

ひとこと要約

この論文では、品詞（POS）タグを必要とせず、単語の文字列を直接処理して構文的依存関係とラベルを予測する完全にニューラルな依存解析器を提示する。文字レベルの埋め込み、双方向RNN、および品詞タグ付けのマルチタスク学習によるエンドツーエンド学習を組み合わせることで、語形に富んだスラヴ語において最先端の性能を達成した。これは、ゴールドPOSタグを使用するシステムと同等またはそれを上回る性能であり、訓練に原始的な表記法のみを用いても達成可能である。

ABSTRACT

We present a dependency parser implemented as a single deep neural network that reads orthographic representations of words and directly generates dependencies and their labels. Unlike typical approaches to parsing, the model doesn't require part-of-speech (POS) tagging of the sentences. With proper regularization and additional supervision achieved with multitask learning we reach state-of-the-art performance on Slavic languages from the Universal Dependencies treebank: with no linguistic features other than characters, our parser is as accurate as a transition- based system trained on perfect POS tags.

研究の動機と目的

• 事前に訓練されたPOSタグや言語的特徴に依存せずに、単語の文字列から直接処理する依存解析器の開発。
• ゴールドPOSタグを使用する従来のパイプラインシステムと同等またはそれを上回る性能を、エンドツーエンドのニューラル学習とマルチタスクの監視によって達成できるかの検証。
• 語形に富んだ言語における解析精度に与える、文字レベル表現と補助的POSタグ付けの監視の影響の評価。
• 1つのニューラルネットワークが読み取り、タグ付け、解析を同時に学習でき、手作業で作成された言語的特徴への依存を減らせるという点の実証。

提案手法

• 畳み込みネットワークとハイウェイネットワークを用いて、語の文字列から直接語彙表現を生成し、語形パターンを捉える。
• 双方向GRUネットワークが語彙表現を処理し、文脈を反映した表現を生成する。この段階で、共有された隠れ層を通じたPOSタグ付けの監視が可能である。
• ポインタネットワークが、文脈表現に基づいて各語の構文的主語（head）を選択する。ソフトまたはハードのアテンション機構を用いる。
• 解析サブネットワークが、主語語とアテンション機構に従って依存関係ラベルを予測する。この過程で勾配がアテンション機構を逆伝播する。
• モデル全体が、主語予測、ラベル予測、およびオプションとしてPOSタグ付けのための別々の損失成分を用いてエンドツーエンドで学習される。
• マルチタスク学習による正則化により、過学習が軽減され、特にリソースが限られた言語において汎化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 文字レベルの入力のみで学習された完全にニューラルな依存解析器は、語形に富んだ言語においてゴールドPOSタグを用いるシステムと同等の性能を達成できるか？
• RQ2 POSタグ付けの監視を伴うマルチタスク学習は、リソースが限られた状況下で過学習を軽減し、解析精度を向上させるのにどの程度有効か？
• RQ3 文字レベルの埋め込みのみを用いることで、明示的な言語的特徴がなくても、正確な依存関係解析を支える十分な語形情報が得られるか？
• RQ4 推論時にゴールドPOSタグが利用できない場合、提案されたエンドツーエンドモデルの性能は、従来の段階的システム（例：分類器＋解析器）と比べてどの程度優れているか？
• RQ5 アテンション機構のソフトアテンション対ハードアテンション戦略の違いが、モデルの頑健性と学習の安定性にどの程度影響を与えるか？

主な発見

• チェコ語とポーランド語では、それぞれUASが91.41および90.26を達成し、ゴールドPOSタグを使用するシステムと同等またはそれを上回った。これは、文字レベルの入力のみを用いたにもかかわらず達成された。
• ポーランド語では、ゴールドPOSタグで学習されたMaltParserですら、91.86 UASおよび87.49 LASを達成した。
• ロシア語（83.29 UAS、79.22 LAS）および英語（87.44 UAS、83.94 LAS）においても強力な性能を維持し、言語間での一般化能力を示した。
• POSタグ付けの監視を伴うマルチタスク学習は、過学習を顕著に軽減し、特に語形に富んだ言語において性能向上に寄与した。
• グリーディデコード戦略により、有効な木構造（サイクルなし、複数のルートなし）を98％以上の精度で生成できた。これは鋭いアテンション分布を示している。
• 推論時にゴールドPOSタグが利用できない場合、段階的システムと比較して精度の低下が小さく、欠損特徴に対する頑健性を示した。