[論文レビュー] A Probabilistic Approach to Lexical Semantic Knowledge Acquisition and S tructural Disambiguation

Hang Li|ArXiv.org|Dec 1, 1998

Natural Language Processing Techniques参考文献 2被引用数 14

ひとこと要約

本稿では、統計的推定、最小記述長（MDL）原理、および効率的な学習アルゴリズムを用いて、語彙的意味知識の取得と構造的曖昧除去のための確率的枠組みを提案する。ケーススロット一般化、ケース依存関係学習、語のクラスタリングを統計的推定問題として形式化し、pp-アタッチメントの曇りを85.2%の正確さで達成した。これは当時の最先端手法を上回った。

ABSTRACT

In this thesis, I address the problem of automatically acquiring lexical semantic knowledge, especially that of case frame patterns, from large corpus data and using the acquired knowledge in structural disambiguation. The approach I adopt has the following characteristics: (1) dividing the problem into three subproblems: case slot generalization, case dependency learning, and word clustering (thesaurus construction). (2) viewing each subproblem as that of statistical estimation and defining probability models for each subproblem, (3) adopting the Minimum Description Length (MDL) principle as learning strategy, (4) employing efficient learning algorithms, and (5) viewing the disambiguation problem as that of statistical prediction. Major contributions of this thesis include: (1) formalization of the lexical knowledge acquisition problem, (2) development of a number of learning methods for lexical knowledge acquisition, and (3) development of a high-performance disambiguation method.

研究の動機と目的

• 語彙的意味知識、特にケースフレームパターンの獲得を、体系的かつ統計的に妥当な方法で行う挑戦に応えること。
• 学習された語彙的知識を活用して文解析における構造的曇りを解消すること。
• MDL原理と効率的なモデル推定を用いて、統計的自然言語処理におけるデータの希少性を克服すること。
• 語のクラスタリングとケーススロット一般化を組み合わせた高精度な曇り除去手法を開発すること。
• 語彙的知識獲得の複雑な問題を、3つの部分問題に分解して形式化・解決すること：ケーススロット一般化、ケース依存関係学習、語のクラスタリング。

提案手法

• 事前に整備された同義語辞書に基づくツリー切断モデルに制限されたハードおよびソフトケーススロットモデルを用いて、ケーススロット一般化をモデル化する。
• MDL原理を適用して最適なモデルを学習し、理論的整合性を確保するとともに、データの希少性に対処する。
• 動的計画法に基づく効率的アルゴリズムを用いて、O(N)時間で最適なツリー切断モデルを特定する。
• スズキのアルゴリズムを用いて、ケース依存関係のための依存関係森モデルを学習し、統計的指標でノードペアをソートし、サイクルを形成しないようにリンクを順次追加する。
• 2次元クラスタリング（2D-Clustering）アルゴリズムを用いて、相互情報量の損失が最小限になるように反復的に語クラスを統合することで、ハード共起モデルを学習する。
• ハード共起モデルとツリー切断モデルを曇り除去パイプラインに統合する：まず共起確率を用い、次にツリー切断確率を用い、すべてが等しい場合はデフォルト処理を行う。

実験結果

リサーチクエスチョン

• RQ1 語彙的意味知識、特にケースフレームパターンを、コーパスデータから統計的に整合性のある方法で信頼性高く取得するにはどうすればよいか？
• RQ2 MDLのようなモデル選択基準を用いて、語彙的知識獲得におけるデータの希少性を効果的に緩和するにはどうすればよいか？
• RQ3 未観測の構文形に対しても一般化できるように、ケーススロット間の依存関係を最適に学習する方法は何か？
• RQ4 曇り除去と知識一般化を支援するために、語のクラスタリングを効率的に行うにはどうすればよいか？
• RQ5 共起と階層的一般化を組み合わせたハイブリッドモデルは、既存の曇り除去手法を上回る性能を発揮できるか？

主な発見

• 提案手法は、pp-アタッチメントタスクにおいて85.2%の曇り除去正確さを達成し、当時における最先端手法を上回った。
• MDL原理の使用により、データの希少性に対する効果的な対処が可能となり、堅牢なモデル選択が実現した。
• ツリー切断モデルに対する動的計画法ベースのアルゴリズムは、MDL基準に基づく最適解を保証する。
• 依存関係森学習アルゴリズムは、ノードペアをソートし、順次リンクを追加することで、顕著なケーススロット依存関係を効率的に同定する。
• 語のクラスタリングに用いられる2D-Clusteringアルゴリズムは、反復的統合中に相互情報量の損失を最小限に抑え、クラスタリング品質を向上させる。
• 共起モデルを優先し、次にツリー切断モデルを用いるハイブリッド曇り除去戦略は、確率が等しい場合でも曇りを効果的に解消できることが示された。