[論文レビュー] Generalizing Case Frames Using a Thesaurus and the MDL Principle

Hang Li, Naoki Abe|ArXiv.org|Jul 24, 1995

Natural Language Processing Techniques参考文献 63被引用数 180

ひとこと要約

本稿では、最小記述長（MDL）原理と事前定義された同義語辞書を用いて、コーパスデータからケースフレームを一般化する新規手法を提案する。語のパーティションを同義語辞書内の「木の切断」としてモデル化し、記述長を最小化するように最適化することで、pp-装飾の意味あいまいさ解消の精度を向上させる一般化されたケースフレームパターンを、効率的かつ理論的根拠に基づいて学習する。本手法は、より広いカバレッジと高い耐性を備え、既存手法を上回るか同等の性能を発揮する。

ABSTRACT

We address the problem of automatically acquiring case-frame patterns from large corpus data. In particular, we view this problem as the problem of estimating a (conditional) distribution over a partition of words, and propose a new generalization method based on the MDL (Minimum Description Length) principle. In order to assist with the efficiency, our method makes use of an existing thesaurus and restricts its attention on those partitions that are present as `cuts' in the thesaurus tree, thus reducing the generalization problem to that of estimating the `tree cut models' of the thesaurus. We then give an efficient algorithm which provably obtains the optimal tree cut model for the given frequency data, in the sense of MDL. We have used the case-frame patterns obtained using our method to resolve pp-attachment ambiguity.Our experimental results indicate that our method improves upon or is at least as effective as existing methods.

研究の動機と目的

• 限られたコーパスデータからのケースフレームの一般化という課題に取り組むこと。特に、語ベースのモデルにおけるデータの疎らさに起因する課題を対象とする。
• 観察された共起頻度から、理論的根拠があり計算的にも効率的な一般化されたケースフレームパターンを学習する方法を開発すること。
• 同義語辞書からの構造的事前知識を活用することで、特にpp-装飾の意味あいまいさ解消という自然言語処理の意味あいまいさ解消タスクの性能を向上させること。
• 過学習を最小限に抑えつつ意味的に意味のある一般化を実現する、耐性がありスケーラブルなソリューションを提供すること。

提案手法

• 本手法は、ケースフレーム一般化を、語のパーティション上の条件付き確率分布の推定問題としてモデル化し、MDL原理を用いてモデルの複雑さとデータへの適合度のバランスをとる。
• 一般化を事前定義された同義語辞書内の「木の切断」に制限することで、問題を最適な木の切断モデルの選択問題に変換する。
• MDLを用いて、与えられた頻度データに対して最も圧縮効率が良い（最適な）木の切断モデルを評価・選択する。理論的最適性を保証する。
• 説明長を最小化するように、証明可能に最適な木の切断モデルを計算するための、貪欲かつ効率的なアルゴリズムを適用する。
• 同義語辞書からの語の類似度を統合することで、未観測語に対する確率推定を滑らかにし、ゼロ確率を回避する。
• 分類不能なケースに対しては、MDLとデフォルトモデルを統合することで、意味あいまいさ解消タスクにおける完全なカバレッジを確保する。

実験結果

リサーチクエスチョン

• RQ1 同義語辞書を事前知識として用いることで、MDL原理を疎らなコーパスデータからのケースフレーム一般化に効果的に適用できるか。
• RQ2 pp-装飾の意味あいまいさ解消において、MDLベースの一般化は、Resnik や Hindle の手法と比較して、精度とカバレッジの両面で優れているか。
• RQ3 構造的な同義語辞書の「切断」をパーティションとして用いることで、語レベルのモデルに比べ、より認知的に妥当で耐性のある一般化が可能になるか。
• RQ4 訓練データ量の増加に伴い、本手法が意味あいまいさ解消性能をどの程度向上させるか。
• RQ5 主語名詞とケースフレームの補語の両方を同時に一般化することで、精度を損なわずカバレッジをさらに向上させられるか。

主な発見

• MDLベースの手法は、pp-装飾の意味あいまいさ解消で84.9%の精度を達成し、先行手法（78.3%および82.2%）を上回り、統計的に有意な改善を示した。
• MDL2（MDLに加えて主語名詞の一般化を追加）を組み合わせた場合、100%のカバレッジに達し、ベースライン手法に比べ顕著に向上した。
• すべてのデータサイズにおいて、MDLはSA（選択的関連性）を上回る精度を示し、データ量の増加に伴いカバレッジの向上も速やかに進行した。
• 本手法はSAよりも直感的に一般化されており、例として「afternoon」と「acknowledgement」を同じグループに含めるといった不自然な類似性を避けていた。これは、人間の言語的直感により整合していることを示唆している。
• アルゴリズムは、MDL原理に基づき、最適な木の切断モデルを保証的に特定可能であり、理論的妥当性と計算効率の両方を満たしている。
• MDL2を適用した後、LAとデフォルトモデルを統合した最終的な「Combined2」手法が、84.9%の精度と100%のカバレッジを達成し、最良の全体的性能を示した。