[論文レビュー] Spelling Correction in Agglutinative Languages

Kemal Oflazer|ArXiv.org|Oct 6, 1994

Speech and dialogue systems被引用数 12

ひとこと要約

この論文は、語派生のための接尾語の付加が著しく行われるアグリューティブ言語（例：トルコ語）の綴り訂正システムを提示している。二段階の解析と動的計画法を用いて、接尾語による語形成の広範な体系を扱う。編集距離が1の場合、正しい語を特定する精度は95%であり、上位候補としての精度は74%である。

ABSTRACT

This paper presents an approach to spelling correction in agglutinative languages that is based on two-level morphology and a dynamic programming based search algorithm. Spelling correction in agglutinative languages is significantly different than in languages like English. The concept of a word in such languages is much wider that the entries found in a dictionary, owing to {}~productive word formation by derivational and inflectional affixations. After an overview of certain issues and relevant mathematical preliminaries, we formally present the problem and our solution. We then present results from our experiments with spelling correction in Turkish, a Ural--Altaic agglutinative language. Our results indicate that we can find the intended correct word in 95\% of the cases and offer it as the first candidate in 74\% of the cases, when the edit distance is 1.

研究の動機と目的

• 語派生のための接頭語の付加が著しく行われるアグリューティブ言語における綴り訂正の課題に対処すること。
• 標準的な辞書検索を超えて、アグリューティブ言語の語彙的複雑性を考慮する手法を開発すること。
• 語幹と語尾の派生的・屈折的接尾語を体系的にモデル化することで、綴り訂正の精度を向上させること。
• トルコ語を代表とする語派生が著しく行われる屈折的語彙構造を持つアグリューティブ言語を対象に、手法を評価すること。
• 二段階の解析と動的計画法を組み合わせることで、綴り訂正の有効性を示すこと。

提案手法

• アグリューティブ言語における語形成の規則性をモデル化するために、二段階の解析を用いる。
• 効率的な探索のため、動的計画法に基づく探索アルゴリズムを適用する。
• 綴りの誤りを語彙的規則からの逸脱とみなすことにより、辞書外の語に対しても訂正が可能になる。
• 語彙的形態と表層形の関係を形式的表現として二段階の解析で表現する。
• 編集距離を最小化するとともに語彙的制約を満たすように、最も可能性の高い正しい語を計算する。
• この手法はトルコ語で評価され、語幹に接尾語を付加する処理を行い、語幹や接尾語の誤りに対応できる。

実験結果

リサーチクエスチョン

• RQ1 語派生が著しく行われ、屈折的・派生的語形が複雑なアグリューティブ言語に対して、どのように綴り訂正を効果的に適用できるか。
• RQ2 二段階の解析が、語形成が著しく行われる言語における綴り訂正をどの程度向上できるか。
• RQ3 動的計画法は、アグリューティブ言語における膨大な訂正候補の探索空間を効率的に処理できるか。
• RQ4 編集距離が1の場合、正しい語を回復する性能はどの程度か。
• RQ5 正しい語が訂正候補リストの上位1位として提示される頻度はどの程度か。

主な発見

• 編集距離が1の場合、95%のケースで正しい語が正しく特定された。
• 同じ条件下で、正しい語が上位候補として提示された割合は74%であった。
• 辞書検索に依存するのではなく、接尾語の規則をモデル化することで、語彙的複雑性を効果的に扱えた。
• 二段階の解析と動的計画法の統合により、アグリューティブ言語における効率的かつ正確な訂正が可能になった。
• 形式的語彙的モデルを現実の綴り訂正タスクに適用する可能性が実証された。
• 接尾語による語形生成の全範囲を考慮することで、従来のアプローチを上回る性能を発揮した。