[論文レビュー] Is POS Tagging Necessary or Even Helpful for Neural Dependency Parsing?

Houquan Zhou, Zhang Yu+2 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques参考文献 27被引用数 7

ひとこと要約

本稿は、文字ベースの表現を用いる場合を含め、部分品詞（POS）タグの付与がニューラル依存解析に依然として有益であるかどうかを調査する。英語および中国語のデータセットを用い、3つのマルチタスク学習フレームワーク（Share-Loose、Share-Tight、Stack）を適用した結果、Stack手法を用いた共同学習において、BERTや異種のPOSデータを含む状況下でも、構文に敏感なタグの曖昧さが低減されるため、POSタグの付与が解析精度を顕著に向上させることを明らかにした。

ABSTRACT

In the pre deep learning era, part-of-speech tags have been considered as indispensable ingredients for feature engineering in dependency parsing. But quite a few works focus on joint tagging and parsing models to avoid error propagation. In contrast, recent studies suggest that POS tagging becomes much less important or even useless for neural parsing, especially when using character-based word representations. Yet there are not enough investigations focusing on this issue, both empirically and linguistically. To answer this, we design and compare three typical multi-task learning framework, i.e., Share-Loose, Share-Tight, and Stack, for joint tagging and parsing based on the state-of-the-art biaffine parser. Considering that it is much cheaper to annotate POS tags than parse trees, we also investigate the utilization of large-scale heterogeneous POS tag data. We conduct experiments on both English and Chinese datasets, and the results clearly show that POS tagging (both homogeneous and heterogeneous) can still significantly improve parsing performance when using the Stack joint framework. We conduct detailed analysis and gain more insights from the linguistic aspect.

研究の動機と目的

• 深層学習の時代において、特に文字レベルの表現を用いる場合に、POSタグの付与がニューラル依存解析に依然として有用であるかどうかを調査すること。
• POSタグ付けと依存解析の共同学習に適した、異なるマルチタスク学習フレームワーク（Share-Loose、Share-Tight、Stack）を比較すること。
• 均質的でない（co-annotated）および大規模な異種POSタグデータが、解析性能に与える影響を評価すること。
• POSタグの付与が、文字ベースの単語表現の進歩にもかかわらず依然として有効である理由について、言語学的および実証的知見を提供すること。

提案手法

• 最先端のバイアフィン依存解析器の上に、3つのマルチタスク学習フレームワーク（Share-Loose、Share-Tight、Stack）を設計・実装する。
• 単語埋め込みと文字レベルLSTM（CharLSTM）表現を入力特徴として用い、単語レベルの意味と形態的特徴をモデル化する。
• Stackフレームワークを適用し、POSタグ付けヘッドの隠れ表現を解析ヘッドの追加入力として供給することで、解析損失がタグ付け部に間接的にバックプロパゲートされるようにする。
• 英語（PTB）および中国語（CTB、PKU）のベンチマークデータセットを用い、共にアノテートされた均質的（co-annotated）および別々にアノテートされた異種（separately annotated）POSタグを用いて学習を行う。
• アブレーションスタディおよび言語学的分析を通じて、POSタグの曖昧さが解析性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 文字ベースの単語表現を用いる場合、POSタグの付与は依然として依存解析性能を向上させるか？
• RQ2 異なるマルチタスク学習フレームワーク（Share-Loose、Share-Tight、Stack）は、POSタグ付けと解析の共同学習においてどのように比較されるか？
• RQ3 大規模な異種POSタグデータ（低コストで生成可能）は、依然として解析精度を向上させることができるか？
• RQ4 CharLSTMによるデータスパarsityの低減と形態的特徴のモデル化が進んでも、なぜPOSタグの付与が依然として有効なのか？

主な発見

• Stackマルチタスク学習フレームワークは、パイプライン法および他の共同手法を常に上回り、すべてのデータセットでUASおよびLASの最高の向上を達成した。
• 異種POSデータ（中国語のPKUなど）を用いたPOSタグ付けは、特にStackフレームワークと組み合わせた場合、解析性能を顕著に向上させた。
• Stack手法による共同学習は、誤差伝搬を低減し、{NN, VV} や {VV, AD} のような構文に敏感なPOS曖昧性の処理を改善した。これらの更がもともと解析精度を著しく低下させる要因であった。
• BERTを用いても、Stackフレームワーク下ではPOSタグの付与が依然として有益であった。これは、文脈的埋め込みを超えて、POSタグが構文的インダクティブバイアスを補完的に提供していることを示している。
• 言語学的分析から、解析エラーは特に構文に敏感なタグペアにおいて、誤ったPOSタグ付けと強く相関していることが明らかになった。これにより、両者の強い相関関係が確認された。