[論文レビュー] Morphological Disambiguation by Voting Constraints

Kemal Oflazer, Gökhan Tür|arXiv (Cornell University)|Apr 25, 1997

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、ルールの順序に依存せず、個々の制約の投票によって各語の最も可能性の高い解析を選択する制約ベースのトルコ語の語彙素解析の不確実性除去システムを提示する。このアプローチは、約500の規則と基本統計を用い、Prologで実装され、後に有限状態トランスダーサーを用いて検討された。1トークンあたり約1.01の解析を達成し、94–95%の精度と95–96%の再現率を達成した。

ABSTRACT

We present a constraint-based morphological disambiguation system in which individual constraints vote on matching morphological parses, and disambiguation of all the tokens in a sentence is performed at the end by selecting parses that receive the highest votes. This constraint application paradigm makes the outcome of the disambiguation independent of the rule sequence, and hence relieves the rule developer from worrying about potentially conflicting rule sequencing. Our results for disambiguating Turkish indicate that using about 500 constraint rules and some additional simple statistics, we can attain a recall of 95-96% and a precision of 94-95% with about 1.01 parses per token. Our system is implemented in Prolog and we are currently investigating an efficient implementation based on finite state transducers.

研究の動機と目的

• 語の複数の妥当な語彙素解析が存在するトルコ語における語彙素的曖昧性の課題に対処すること。
• 制約ベースの不確実性除去においてルールの順序に依存することを排除し、一貫性のない結果を避けること。
• スケーラブルで、規則の順序に依存しない頑健な不確実性除去システムを構築し、高精度な語彙素解析を実現すること。
• 管理可能な数の制約と統計的補正を用いて、高い精度と再現率を達成すること。

提案手法

• 各語彙素制約が、自身が有効とみなす解析に対して投票し、全制約にわたって票を集計する。
• システムは文内の全トークンを一括して評価し、総票数が最大となる解析構成を選択する。
• 制約ルールは相互に独立しており、順序に依存しないため、処理順序に関わらず一貫した結果が得られる。
• プロトタイプ作成にはPrologベースの実装を用い、性能最適化のために有限状態トランスダーサーの検討も行った。
• 純粋なルール投票を超えて、不確実性除去の正確性を向上させるために追加の統計的特徴も適用した。
• 不確実性除去は文単位で実施され、全トークンにわたる票を集計し、グローバルに最適な解析集合を選択する。

実験結果

リサーチクエスチョン

• RQ1 ルールの順序に依存せず、高い精度と再現率を達成できる制約ベースの語彙素解析不確実性除去システムは構築可能か？
• RQ2 大規模コーパスにおいて、投票メカニズムはトルコ語の語彙素的曖昧性をどれほど効果的に解消できるか？
• RQ3 手作業で作成された少数の制約と基本統計を組み合わせることで、どれほど高い不確実性除去の正確性を達成できるか？
• RQ4 語彙素変化が複雑な言語、たとえばトルコ語のような言語において、システムは多様な語彙素構造に対して一貫した性能を維持できるか？

主な発見

• 本システムは、約500の制約ルールを用いてトルコ語のテキストに対して95–96%の再現率と94–95%の精度を達成した。
• 1トークンあたりの解析数の平均は1.01にまで低下し、高い不確実性除去の正確性と効率性を示している。
• 投票メカニズムにより、制約の適用順序に依存しない不確実性除去の結果が保証された。
• Prologによる実装は、語彙素不確実性除去における投票ベースのアプローチの実現可能性を成功裏に示した。
• 著者らは、今後の研究において有限状態トランスダーサーがシステム効率の向上に向けた有望な道筋であると特定した。