[論文レビュー] Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks

Liner Yang, Meishan Zhang+4 more|arXiv (Cornell University)|Apr 25, 2017

Natural Language Processing Techniques参考文献 16被引用数 3

ひとこと要約

この論文は、3つの専用のニューラル分類器（シフト/リダクション意思決定、POSタギング、依存関係ラベル付け用）を備えた遷移ベースのシステムを用いて、品詞タギング（POS tagging）と依存解析を統合的に扱うニューラルネットワークフレームワークを提案する。このアプローチは、従来のモデルが直面する特徴のスパarsityと不完全性を克服するエンドツーエンド学習を活用することで、3つの語彙木帳で8言語にわたって先行手法を著しく上回る性能を達成する。

ABSTRACT

While part-of-speech (POS) tagging and dependency parsing are observed to be closely related, existing work on joint modeling with manually crafted feature templates suffers from the feature sparsity and incompleteness problems. In this paper, we propose an approach to joint POS tagging and dependency parsing using transition-based neural networks. Three neural network based classifiers are designed to resolve shift/reduce, tagging, and labeling conflicts. Experiments show that our approach significantly outperforms previous methods for joint POS tagging and dependency parsing across a variety of natural languages.

研究の動機と目的

• 手動で設計された特徴テンプレートの限界に対処すること。これは、従来の統合的POSタギングと依存解析モデルが特徴のスパarsityと不完全性に苦しんでいるためである。
• 静的特徴設計ではなく、パースィング中に語彙的および句構造的情報が動的に相互作用できるようにすることで、統合的パフォーマンスを向上させること。
• POSタギングと依存解析がニューラル分類器を介して共同最適化される統一された遷移ベースのフレームワークを設計すること。
• 共有表現を通じてパースィングがタギング意思決定に影響を与えることで、誤り伝播を低減し、タギングの正確性を向上させること。

提案手法

• シフト、左移動、右移動、タグ t、ラベル l の5つのアクションを備えた遷移ベースのパースィングシステムを拡張し、POSタギングと依存解析を同時にモデル化する。
• シフト/リダクション意思決定、POSタギング、依存関係ラベル付けの3つの別々のニューラル分類器を採用し、スパース特徴の代わりに密なベクトル表現を用いる。
• 語彙表現を符号化するために双方向LSTMを用い、各分類器の入力に文脈特徴（例：スタック、バッファ、タグ履歴）を連結する。
• ReLU活性化関数を備えた多層パーセプトロンを用いて入力表現をアクションスコアにマップし、エンドツーエンド学習を可能にする。
• タギングとパースィングのコンポONENT間で単語埋め込みと隠れ状態を統合し、相互監視と誤差低減を実現する。
• 各ステップでパースィング、タギング、ラベル付け意思決定のスコアが最も高い組み合わせに基づいてアクションを選択する統合デコード戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 遷移ベースのニューラルネットワークは、従来の特徴ベースのモデルよりも、統合的POSタギングと依存解析をより効果的にモデル化できるか？
• RQ2 ニューラル分類器によるエンドツーエンド学習は、統合的パースィングにおける特徴のスパarsityと不完全性の影響を軽減するか？
• RQ3 タギングとパースィングの相互作用は、逐次的または独立したモデル化と比較してパフォーマンスをどのように向上させるか？
• RQ4 統合フレームワークにおいて、構文的情報がタギングに与える寄与と、語彙的情報がパースィングに与える寄与の相対的寄与度は何か？

主な発見

• 提案手法は、3つの語彙木帳と8つの自然言語で、統合的POSタギングと依存解析の最先端性能を達成した。
• 手動で設計された特徴テンプレートに依存する従来の統合モデルよりも顕著に優れており、特に曖昧なタギングケースの処理において顕著な改善が見られた。
• タギングとパースィングの相互作用を無効化すると、タギングとパースィングの両方の精度が著しく低下し、共同学習の利点を確認した。
• タギング情報をパースィングに提供する（タグ → パース）と、パースィング情報をタギングに提供する（タグ ← パース）よりも大きな向上が得られた。これは、タギングの曖昧性が局所的であるのに対し、パースィングには長距離依存性が必要であるためである。
• 構文的特徴をタギング分類器から除去しても、モデルの性能が著しく低下せず、共有表現による頑健性を示した。
• アブレーションスタディーにより、統合アーキテクチャが誤り伝播を低減し、特にリソースが限られた状況下で一般化性能を向上させることを確認した。