[論文レビュー] An Empirical Comparison of Probability Models for Dependency Grammar

Jason Eisner|ArXiv.org|Jun 6, 1997

Natural Language Processing Techniques参考文献 14被引用数 54

ひとこと要約

本稿では、新規のO(n³)解析アルゴリズムを用いて、依存構文解析の確率的モデルの実験的比較を提示している。25,000文のより大きな訓練データセットを用いて評価し、品詞情報が事前に分かっている場合に93%のアタッチメント正答率を達成しており、先行研究を著しく上回り、局所的な構造的および距離情報を取り入れることで、単純な生成モデルに比べて解析性能が向上することを示している。

ABSTRACT

This technical report is an appendix to Eisner (1996): it gives superior experimental results that were reported only in the talk version of that paper. Eisner (1996) trained three probability models on a small set of about 4,000 conjunction-free, dependency-grammar parses derived from the Wall Street Journal section of the Penn Treebank, and then evaluated the models on a held-out test set, using a novel O(n^3) parsing algorithm. The present paper describes some details of the experiments and repeats them with a larger training set of 25,000 sentences. As reported at the talk, the more extensive training yields greatly improved performance. Nearly half the sentences are parsed with no misattachments; two-thirds are parsed with at most one misattachment. Of the models described in the original written paper, the best score is still obtained with the generative (top-down) "model C." However, slightly better models are also explored, in particular, two variants on the comprehension (bottom-up) "model B." The better of these has an attachment accuracy of 90%, and (unlike model C) tags words more accurately than the comparable trigram tagger. Differences are statistically significant. If tags are roughly known in advance, search error is all but eliminated and the new model attains an attachment accuracy of 93%. We find that the parser of Collins (1996), when combined with a highly-trained tagger, also achieves 93% when trained and tested on the same sentences. Similarities and differences are discussed.

研究の動機と目的

• 統一された実験フレームワークの下で、依存文法解析のための異なる確率的モデルを評価・比較すること。
• 訓練データを4,000文から25,000文に拡大することで、解析精度を向上させること。
• 距離や品詞タグ付けなどの構造的選択が、解析およびタギング性能に与える影響を評価すること。
• 再現可能性および将来のモデル改善のための詳細な実験再現手順を提供すること。
• 誤差率の差の有意性を評価するために、非パラメトリックなモンテカルロ検定を適用すること。

提案手法

• 本稿では、与えられた語列に対して最も確率の高い依存構造を効率的に計算するため、新規のO(n³)解析アルゴリズムを用いている。
• 3つのコアな確率的モデル—C、B、およびD—が評価され、モデルCは生成的であり、モデルBおよびDは局所的な構造的文脈を組み込んでいる。
• 確率推定は、訓練データ上で最尤推定法を用い、スパarseness（希少性）を扱うためにスムージングが適用されている。
• モデルは、ペン・ツリー・バンクのウォール・ストリート・ジャーナル部の400文のホールドアウトセットを用いて訓練およびテストされ、洗練された品詞タグが使用されている。
• 誤差が文内ですでに非独立であることを考慮し、誤差率の差の有意性を評価するために、非パラメトリックなモンテカルロ有意性検定が用いられている。
• 最も優れたモデルは、文字列局所的および木構造局所的情報を組み合わせており、距離特徴量がベースラインモデルに比べて性能を向上させている。

実験結果

リサーチクエスチョン

• RQ1 依存文法モデルにおける異なる確率的独立性の仮定が、解析精度に与える影響は何か？
• RQ2 語の間の距離情報を取り入れることで、解析性能にどのような影響があるか？
• RQ3 タグと親ノード情報を両方条件として用いるモデルは、標準的なトライグラムタガーラーに比べて、タギングおよび解析の両面で優れているか？
• RQ4 訓練データサイズの増加が、解析誤差率およびモデル収束に与える影響は何か？
• RQ5 誤差が文内ですでに非独立である場合に、モデル間の性能差は統計的に有意であるか？

主な発見

• 25,000文のより大きな訓練データセットを用いることで、元の4,000文の研究に比べ、誤差率が半減した。
• 最も優れたモデル（モデルBの変種B3）は90%のアタッチメント正答率を達成し、標準的なトライグラムタガラーのタギング正答率を上回った。
• 品詞情報が事前に分かっている場合、最も優れたモデルは93%のアタッチメント正答率を達成し、コリンズのパーサーと高度に訓練されたタガラーを用いた場合と同等の性能を示した。
• 文字列局所的および木構造局所的情報を組み合わせたモデル（B3）は、単語生成の好みを仮定するB1およびB2のような単純なモデルを著しく上回った。
• 統計的有意性検定の結果、多くのモデル差は0.001水準で有意であったが、結果表の行4–5および7–8のような近いペアについては有意でなかった。
• 結果は、局所的文脈および距離に注意を向けた単純なモデルが、複雑な構造的ヒューリスティクスを用いずに、最先端の解析精度を達成できることを示している。