[論文レビュー] MAXIMUM LIKELIHOOD AND MINIMUM ENTROPY IDENTIFICATION OF GRAMMARS

Pierre Collet, Antonio Galves+1 more|ArXiv.org|Apr 13, 1995

Neural Networks and Applications被引用数 7

ひとこと要約

この論文は、正の証拠のみを用いて、最大尤度および最小エントロピーの原則に基づき、熱力学的形式主義に裏打ちされたギブス分布モデルを導入し、正規文法を同定する。言語習得をプロソディック・キューや熱力学的プロセスによって駆動される確率的プロセスとしてモデル化し、ベルウィックのサブセット原理のような恣意的な制約に依存せず、収束性および安定性に関する理論的保証を有する、強固で原理的である代替手法を提供する。

ABSTRACT

Using the Thermodynamic Formalism, we introduce a Gibbsian model for the identification of regular grammars based only on positive evidence. This model mimics the natural language acquisition procedure driven by prosody which is here represented by the thermodynamical potential. The statistical question we face is how to estimate the incidenc e matrix of a subshift of finite type from a sample produced by a Gibbs state whose potential is known. The model acquaints for both the robustness of t he language acquisition procedure and language changes. The probabilistic appr oach we use avoids invoking ad-hoc restrictions as Berwick's Subset Principle.

研究の動機と目的

• 正の証拠のみを用いて、恣意的な制約を避ける、原理的で確率論的な正規文法同定フレームワークの構築。
• 言語習得プロセスを、プロソディック・キューや熱力学的インスピレーションを受ける確率的プロセスとしてモデル化すること。
• 変動するデータ条件や言語の変化にさらされても、文法同定の強固さと安定性を保証すること。
• 与えられたギブス分布からのサンプルとしての有限型部分系列のインシデント行列の推定問題として、同定問題を形式化すること。
• 認知的および言語学的観察と整合するが、ベルウィックのサブセット原理のような制限的原則に依存しない、言語習得の理論的基盤を提供すること。

提案手法

• 正規文法によって生成される文字列の上に、熱力学的形式主義を用いてギブス測度を定義する。
• プロソディーを、文字列系列の尤度に影響を与える熱力学的ポテンシャルとしてモデル化する。
• 観測データから有限型部分系列のインシデント行列を推定するために、最大尤度推定を適用する。
• 不確実性下でもより単純で安定した文法を好むために、最小エントロピー制約を課す。
• 文法同定問題を、既知のポテンシャルを持つギブス分布モデルにおける統計的推論タスクとして扱う。
• 有限型部分系列理論を用いて、正規文法における有効な文字列の集合を表現する。

実験結果

リサーチクエスチョン

• RQ1 正の証拠のみを用いて、原理的で確率論的なフレームワークにより、どのように正規文法を同定できるか？
• RQ2 プロソディック・キュー（熱力学的ポテンシャルとしてモデル化）は、文法的構造の同定をどの程度効果的に導けるか？
• RQ3 最小エントロピーと最大尤度推定が、文法学習における強固さと収束性を同時に保証できるか？
• RQ4 提案されたモデルは、ベルウィックのサブセット原理のような恣意的な制約を回避するにはどのようにして機能するか？
• RQ5 データの変動や言語の変化に対して、学習手順の理論的安定性はどの程度保たれるか？

主な発見

• 既知のポテンシャルのもとで、ギブス状態によって生成されたサンプルから、有限型部分系列のインシデント行列を正確に同定できた。
• 最小エントロピーの使用により、データが限られたりノイズを含んでも、推定された文法は単純で安定したままであることが保証された。
• フレームワークは、自然にプロソディック・キューを熱力学的ポテンシャルとして組み込み、観察された言語習得のパターンと整合した。
• 制限的で恣意的な制約（ベルウィックのサブセット原理など）を回避するため、原理的統計的推論によって実現された。
• 理論的分析により、データの変動や言語の変化に対しても、学習手順の強固さが確認された。
• 統計力学の原則を用いて、言語習得と言語進化の両方を統一的にモデル化するフレームワークを提供した。