[論文レビュー] An Empirical Comparison of Parsing Methods for Stanford Dependencies

Lingpeng Kong, Noah A. Smith|arXiv (Cornell University)|Apr 16, 2014

Natural Language Processing Techniques参考文献 43被引用数 26

ひとこと要約

この論文は、頭部規則を用いた文構造解析（c-parsing）と直接依存解析（d-parsing）を、Stanford Typed Dependencies に対して実験的に比較したものである。その結果、現代のd-parsersはc-parsersとの精度差を、未ラベルF1で1.8%、ラベル付きF1で2.0%まで縮め、最大20倍の高速化を達成している。さらに、ブラウンクラスタ特徴量を用いることで、d-parsing性能が向上し、深層再帰ニューラルネットワークパーサーと同等の性能を達成しながら、3倍の速度で処理可能であることが示された。

ABSTRACT

Stanford typed dependencies are a widely desired representation of natural language sentences, but parsing is one of the major computational bottlenecks in text analysis systems. In light of the evolving definition of the Stanford dependencies and developments in statistical dependency parsing algorithms, this paper revisits the question of Cer et al. (2010): what is the tradeoff between accuracy and speed in obtaining Stanford dependencies in particular? We also explore the effects of input representations on this tradeoff: part-of-speech tags, the novel use of an alternative dependency representation as input, and distributional representaions of words. We find that direct dependency parsing is a more viable solution than it was found to be in the past. An accompanying software release can be found at: http://www.ark.cs.cmu.edu/TBSD

研究の動機と目的

• Cerら（2010）以降の依存解析分野における技術進歩を踏まえ、Stanford Typed Dependenciesの解析において、精度と速度のトレードオフを再評価すること。
• 品詞タギングの品質が、c-parsingとd-parsingの性能差に与える影響を評価すること。
• Yamada-Matsumoto形式の代替的依存構造表現が、スタッキングフレームワークにおいてStanford依存解析の性能向上に寄与するかどうかを調査すること。
• 分布的単語表現（ブラウンクラスタ）が、直接依存解析の性能向上にどの程度有効であるかを評価すること。

提案手法

• PTBセクション22–23を対象に、文構造パーサーと頭部規則を用いたc-parsing（Stanford CoreNLPパイプライン）と、さまざまな特徴量を用いたd-parsing（TurboParser）を実験的に比較した。
• BasicおよびCCprocessed Stanford Dependenciesにおける未ラベル（UAS）およびラベル付き（LAS）アタッチメントスコアを測定することで性能を評価した。
• 一般化性能の向上を目的として、ブラウンクラスタ特徴量（4–6ビットおよびフルビット文字列）を語彙表現としてd-parsersに追加した。
• スタッキングフレームワークを用いて、Yamada-Matsumotoの依存構造表現をd-parsersの追加特徴量として統合した。
• 分布的特徴量の有無に関わらず、標準的およびフルオーダーのTurboParserモデルを学習・評価し、Stanford再帰ニューラルネットワークパーサーと比較した。
• 制御実験を通じて、品詞タギングの誤りがc-parsingとd-parsingの性能差にどの程度寄与しているかを特定した。

実験結果

リサーチクエスチョン

• RQ1 Cerら（2010）以降の進歩を踏まえると、Stanford Typed Dependenciesにおけるc-parsingとd-parsingの現在の精度-速度トレードオフはどのようになっているか、かつ2010年と比較して改善されたか？
• RQ2 品詞タギングの誤りは、c-parsingとd-parsingの性能差にどの程度寄与しているか？
• RQ3 スタッキングフレームワークにおいて、Yamada-Matsumotoの依存構造表現が、有用な特徴源として機能するか？
• RQ4 分布的単語表現（ブラウンクラスタ経由）は、d-parsing性能を、Stanford再帰ニューラルネットワークパーサーと同等または上回る水準まで向上させることができるか？

主な発見

• CCprocessed Stanford Dependenciesにおけるc-parsingとd-parsingの性能差は、Cerら（2010）の6.9%および8%から、未ラベルF1で1.8%、ラベル付きF1で2.0%に縮小された。
• アーキファクトド・d-parsersは、PTB §23で92.75%のLASを達成し、Stanford CoreNLPパイプラインと同等の性能を発揮したが、20倍の高速さを実現した。
• 品詞タギングが性能差の主要因であることが判明した。ゴールド標準の品詞タギングを用いることで性能差が顕著に縮小され、d-parsingにおける品詞タギング品質が重要なボトルネックであると示唆された。
• スタッキングフレームワークにおいてYamada-Matsumotoの依存構造表現を特徴量として使用することで、d-parsing性能が向上した。これは、構文指向の表現がStanford依存解析の性能向上に寄与しうることを示している。
• ブラウンクラスタ特徴量を備えたフルオーダーTurboParserは、PTB §23で92.96%のUASおよび90.31%のLASを達成し、Stanford再帰ニューラルネットワークパーサーと同等の性能を発揮したが、3倍の速度で処理可能であった。
• ブラウンクラスタを組み込んだフルオーダーTurboParserは、精度は同等ながら、Stanford RNNモデルを上回る速度を達成した。これは、効率的で特徴量拡張されたd-parsersが、実世界の応用において実用的である可能性を示している。