[論文レビュー] Robustness Evaluation of Two CCG, a PCFG and a Link Grammar Parsers

Tuomo Kakkonen|ArXiv.org|Jan 24, 2008

Natural Language Processing Techniques参考文献 18被引用数 6

ひとこと要約

本論文は、2つの結合カテゴリー文法（CCG）パーサー、確率的文法自由文法（PCFG）パーサー、およびリンク文法パーサーの4つの自然言語パーサーの、誤った入力、特に誤字の条件下での頑健性を評価する。誤字のない文と誤字のある文の間で解析出力を比較する2つの新しい頑健性指標を導入し、誤りの増加に伴い性能が著しく低下することが判明した。最高のパーサー（C&C）は、1つの誤字がある文のうち60.8％で同じ解析木を維持した。

ABSTRACT

Robustness in a parser refers to an ability to deal with exceptional phenomena. A parser is robust if it deals with phenomena outside its normal range of inputs. This paper reports on a series of robustness evaluations of state-of-the-art parsers in which we concentrated on one aspect of robustness: its ability to parse sentences containing misspelled words. We propose two measures for robustness evaluation based on a comparison of a parser's output for grammatical input sentences and their noisy counterparts. In this paper, we use these measures to compare the overall robustness of the four evaluated parsers, and we present an analysis of the decline in parser performance with increasing error levels. Our results indicate that performance typically declines tens of percentage units when parsers are presented with texts containing misspellings. When it was tested on our purpose-built test set of 443 sentences, the best parser in the experiment (C&C parser) was able to return exactly the same parse tree for the grammatical and ungrammatical sentences for 60.8%, 34.0% and 14.9% of the sentences with one, two or three misspelled words respectively.

研究の動機と目的

• 現実世界のノイズのある入力、特に誤字に対して現代のパーサーの頑健性を評価すること。
• 最新のパーサーが文法的に不正だが意味的に妥当な入力に対処する際の限界を特定すること。
• 入力の不正によるパーサーの頑健性を測るための新しい定量的指標を開発・検証すること。
• 2つのCCG、1つのPCFG、1つのリンク文法パーサーという4つの異なる解析アーキテクチャの相対的な耐性を比較すること。

提案手法

• 1〜3つの誤字を含む制御された誤字を施した443文のテストセットを独自に構築。
• 2つの新しい頑健性指標を用いる：(1) 語法的に正しい文と汚染されたバージョンの両方で同じ解析木が出力される文の割合、(2) 解析木間の構造的類似度の正規化された測定値。
• 各パーサーに元の文とノイズのあるバージョンの両方を適用し、解析出力のペアを収集。
• 構文木比較技術を用いて解析出力を比較し、2つの頑健性指標を計算。
• 誤りのレベル（1、2、3つの誤字）を増やした際の性能低下を分析し、ノイズに対する感受性を評価。
• C&Cパーサーを比較のベースラインとして用いる。これは過去の評価で優れた性能を示しており、そのためである。

実験結果

リサーチクエスチョン

• RQ1 CCG、PCFG、リンク文法という異なる解析アーキテクチャは、誤字のある文を解析する際にどのように性能を発揮するか？
• RQ2 同じ文の語法的正しいバージョンと汚染されたバージョンの間で、パーサーの出力がどの程度一貫しているか？
• RQ3 1文あたりの綴り間違いの数が、解析失敗または構造的変化の可能性にどのように影響するか？
• RQ4 入力ノイズ下でのパーサーの頑健性を定量化するのに最も効果的な指標は何か？
• RQ5 現実世界の条件下で、どのパーサーのアーキテクチャが綴り間違いに対して最も耐性があるか？

主な発見

• 最高性能を示したC&Cパーサーは、1つの誤字がある文のうち60.8％で同じ解析木を維持した。
• 2つの誤字がある場合、同じパーサーは同じ解析木を維持した文が34.0％にまで低下した。
• 3つの誤字がある文では、同じ解析木の維持率は14.9％まで低下した。
• 全体として、パーサーの性能はノイズのある入力が与えられた際、数パーセンテージポイントの低下を示し、綴り間違いに対して顕著な感受性があることが判明した。
• 頑健性指標は、パーサーの種別による耐性の差を的確に捉えており、CCGパーサーがPCFGおよびリンク文法パーサーを上回ってノイズ条件下で優れた性能を示したことが明らかになった。
• 本研究は、高水準のパーサーですら、中程度のノイズレベルの入力においても構造的一致性を維持することが困難であることを示している。