[論文レビュー] Fishing for Exactness

Ted Pedersen|ArXiv.org|Aug 16, 1996

Natural Language Processing Techniques参考文献 5被引用数 97

ひとこと要約

この論文は、自然言語コーパスにおける依存的bigramの同定において、カイ二乗検定、尤度比検定、t検定などの漸近的有意検定に代えてフィッシャーの正確確率検定を推奨している。自然言語処理（NLP）において一般的な、極めて偏ったかつスパースな語の頻度分布のため、固定マージン下での正確確率を計算するフィッシャーの正確確率検定は、小標本やアンバランスな標本で失敗する漸近的手法よりも、より信頼性の高いp値を提供する。

ABSTRACT

Statistical methods for automatically identifying dependent word pairs (i.e. dependent bigrams) in a corpus of natural language text have traditionally been performed using asymptotic tests of significance. This paper suggests that Fisher's exact test is a more appropriate test due to the skewed and sparse data samples typical of this problem. Both theoretical and experimental comparisons between Fisher's exact test and a variety of asymptotic tests (the t-test, Pearson's chi-square test, and Likelihood-ratio chi-square test) are presented. These comparisons show that Fisher's exact test is more reliable in identifying dependent word pairs. The usefulness of Fisher's exact test extends to other problems in statistical natural language processing as skewed and sparse data appears to be the rule in natural language. The experiment presented in this paper was performed using PROC FREQ of the SAS System.

研究の動機と目的

• 偏ったおよびスパースなデータ分布のため、統計的自然言語処理（NLP）における漸近的有意検定の信頼性の低さに対処すること。
• t検定、ピアソンのカイ二乗検定（X²）、尤度比検定（G²）といった一般的な漸近的検定と比較して、フィッシャーの正確確率検定が依存的bigramを検出する性能を評価すること。
• フィッシャーの正確確率検定が、特にジプファイン頻度分布に従う希少な言語的出来事に伴うNLPタスクにおいてより適切であることを示すこと。

提案手法

• 『ウォール・ストリート・ジャーナル』コーパスの130万語分のサブセットを用いて、bigramの関連性を分析する。
• 各語のペアごとに、固定マージン合計を持つ2×2分割表としてbigramデータを表現する。
• 依存性の正確なp値を計算するために、フィッシャーの正確確率検定を片側検定（左片側）として適用する。
• t検定、ピアソンのカイ二乗検定（X²）、尤度比検定（G²）からの有意水準を、フィッシャーの正確確率検定の結果と比較する。
• すべての検定統計量を効率的に計算するためにSAS PROC FREQを用いる。
• p値ごとにbigramをランク付けすることで、異なる統計的検定の信頼性および一貫性を比較する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャーの正確確率検定は、NLPコーパスにおける依存的bigramの同定において、漸近的検定よりも信頼性の高いp値を提供するか？
• RQ2 スパースで偏った言語的データにおいて、フィッシャーの正確確率検定の有意水準は、t検定、カイ二乗検定、尤度比検定と比較してどう異なるか？
• RQ3 希少な語のペアに適用された際、漸近的検定はどの程度の程度で崩壊するのか？

主な発見

• フィッシャーの正確確率検定は、特に漸近的仮定が満たされない希少bigramにおいて、最も信頼性の高いp値を生成した。
• フィッシャーの正確確率検定とG²検定の両者で、bigramの順位付けが完全に一致しており、高頻度の依存的ペアにおいて強い一致が確認された。
• t検定とX²検定は、フィッシャーの正確確率検定と比べて顕著に異なるp値を出力しており、スパースなデータ条件下での失敗を示している。
• G²検定は、頻度が低いbigramに対して独立性を誇張する傾向（つまり、p値を高めに評価する）があり、期待度数が低い場合にp値を過大評価している可能性を示している。
• フィッシャーの正確確率検定は、マージンが固定された状態で正確に確率を計算できるため、『major league』や『southern baptist』のような真正に依存的なbigramを同定するのにも優れている。
• 本研究では、NLPで一般的な偏ったおよびスパースなデータが、漸近的検定の大きな標本仮定を満たさないことが確認され、フィッシャーの正確確率検定がより適切な代替手段であると判明した。