[論文レビュー] The Generalized Smallest Grammar Problem

Payam Siyari, Matthias Gallé|arXiv (Cornell University)|Aug 31, 2016

Natural Language Processing Techniques参考文献 6被引用数 3

ひとこと要約

本稿では、従来のストレートライン文法を非再帰的文法に拡張する一般化された最小文法問題を提案する。これにより、文法的推論における構造的一般化が可能になる。MDL（最小記述長）とハリスの置換可能性原理を組み合わせることで、従来のSGPベースの手法よりも高い精度の句構造規則を推論でき、Penn Treebankベンチマークにおいて、より小さな文法と顕著に向上した括弧化精度を達成する。

ABSTRACT

The Smallest Grammar Problem -- the problem of finding the smallest context-free grammar that generates exactly one given sequence -- has never been successfully applied to grammatical inference. We investigate the reasons and propose an extended formulation that seeks to minimize non-recursive grammars, instead of straight-line programs. In addition, we provide very efficient algorithms that approximate the minimization problem of this class of grammars. Our empirical evaluation shows that we are able to find smaller models than the current best approximations to the Smallest Grammar Problem on standard benchmarks, and that the inferred rules capture much better the syntactic structure of natural language.

研究の動機と目的

• ストレートラインプログラムに制限された最小文法問題（SGP）が、一般化能力に欠けるため、文法的推論で失敗する問題に対処すること。
• 自然言語の系列における句構造を捉えることができる非再帰的文法の形式的定式化を構築すること。
• MDLと分布的類似性を最適化して、文法サイズを最小化するとともに、構造的一般化を最適化する効率的なアルゴリズムを設計すること。
• 標準ベンチマーク上で実験的に評価し、既存のSGPアルゴリズムと比較して、文法サイズと句構造規則の質における性能を検証すること。
• 推論された規則が、従来のSGPアプローチよりも真の句構造をよりよく反映していることを示すこと。

提案手法

• ストレートラインプログラムから非再帰的文法へのSGP形式的定式化の拡張により、単なる部分列置換を超えた構造的一般化を可能にする。
• モデルサイズとデータ符号化コストのバランスを取るために、最小記述長（MDL）原理を適用し、効率的で意味のある文法圧縮を保証する。
• ハリスの置換可能性理論を用いて、文脈的に置換可能な部分列を新しい非終端記号規則の候補として特定する。
• 初期のストレートライン文法に対して後処理ステップを実施し、文脈と内部括弧パターンに基づいて分岐規則を推論する。
• 文法空間を効率的に探索するためのグリーディ探索戦略を実装し、文法サイズの制御と規則品質の向上のための早期停止を実現する。
• 元の系列を一意に再構築可能なコンパクトな表現を用いて、最終的な文法を符号化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ理論的有用性があるにもかかわらず、従来のSGPベースの手法は文法的推論で失敗してきたのか？
• RQ2 SGP形式的定式化を非再帰的文法に拡張することで、自然言語系列における構造的一般化が向上するか？
• RQ3 MDLに基づく最適化と置換可能性原理は、現在のSGPアルゴリズムと比較して、より小さく正確な文法を実現できるか、その程度はいかほどか？
• RQ4 非再帰的文法とストレートライン文法の間で、推論された句構造括弧の精度と一貫性はどのように異なるか？
• RQ5 提案手法は、短い文を越えて長大な系列や複雑な句構造に対しても一般化可能か？

主な発見

• 本手法は、標準ベンチマークにおいて、現在の最先端手法よりも小さな文法を達成しており、特に「kennedy.xls」シーケンスで顕著な改善を示した。
• 後処理を施した非再帰的文法は、792個の追加括弧に対して50.48%の括弧化精度を達成し、ベースのグリーディアルゴリズムの21%と比べ顕著に高い。
• 文脈括弧はより正確（最大60%）だが、一貫性は低い（85%非交差）一方、内部括弧はより一貫性がある（90%）が、正確性は低い。
• 長大な系列（130万トークン以上）に対しても、効率性や精度の低下なしに高い性能を維持した。
• ストレートライン文法のみでは括弧化精度が22%にとどまり、本手法の非再帰的拡張による利点が顕著に示された。
• 短い文（≤10語）に対しても、文脈括弧は80%の精度を達成し、低リコールであるにもかかわらず、他の教師なしパーサーを上回った。