[論文レビュー] Development of a Hindi Lemmatizer

Snigdha Paul, Nisheeth Joshi+1 more|arXiv (Cornell University)|May 24, 2013

Natural Language Processing Techniques参考文献 5被引用数 16

ひとこと要約

この論文は、語彙的規則を用いて接尾語を体系的に除去することで語根語を生成するルールベースのヒンディー語レマタイザーを提示する。この手法は接尾語除去とルールベースの語根再構築を組み合わせており、語彙的に豊富な言語たるヒンディー語におけるレマタイズェーションにおいて高い正確性を達成し、インド諸言語における自然言語処理タスクのための専用リソースを提供する。

ABSTRACT

We live in a translingual society, in order to communicate with people from different parts of the world we need to have an expertise in their respective languages. Learning all these languages is not at all possible; therefore we need a mechanism which can do this task for us. Machine translators have emerged as a tool which can perform this task. In order to develop a machine translator we need to develop several different rules. The very first module that comes in machine translation pipeline is morphological analysis. Stemming and lemmatization comes under morphological analysis. In this paper we have created a lemmatizer which generates rules for removing the affixes along with the addition of rules for creating a proper root word.

研究の動機と目的

• ヒンディー語という非常に屈曲的で変形の多い言語における語彙的複雑性の課題に対処するため、専用のレマタイゼーションツールを構築すること。
• 下流の自然言語処理タスクで使用可能な、変形したヒンディー語の語をその基本語形に正確にマッピングするシステムを設計すること。
• 語尾除去と文脈に依存する語根語の再構築を組み合わせたルールベースのフレームワークを構築すること。
• 機械翻訳や計算言語学研究を支援する、分野特化型のヒンディー語レマタイザーを提供すること。

提案手法

• レマタイザーは、変形したヒンディー語語の語尾（接頭語および接尾語）を同定し、除去するルールベースのアプローチを用いる。
• 語形の屈曲パターンと文法的カテゴリーに基づいて語形を分類する階層的ルールセットを適用する。
• 動詞の活用形と名詞の変格形を含む、ヒンディー語文法から導出された語彙的規則をシステムに統合する。
• 語彙的規則とベース語形のキュレート済み語彙集に従って、語根語の再構築が行われる。
• 語尾除去と語頭除去を構造化されたパイプラインで統合し、語根の正確な同定を保証する。
• 手動でアノテートされたテストセットを用いてレマタイザーを評価し、語形回復の正確性と再現率を測定する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのシステムは、インド・ヨーロッパ語族に属する非常に屈曲的な言語たるヒンディー語の語彙的複雑性を効果的に処理できるか？
• RQ2 ヒンディー語における正確な語尾除去と語根語再構築を可能にする言語的ルールのセットは何か？
• RQ3 ルールベースのレマタイザーは、ヒンディー語テキスト処理においてベースラインのステミング手法をどの程度上回るか？
• RQ4 語彙的規則の統合は、ヒューリスティック手法と比較して、レマタイズェーションの正確性をどの程度向上させるか？

主な発見

• 提案されたレマタイザーは、変形したヒンディー語語をその基本語形にマッピングする際、高い正確性と再現率を達成しており、語彙的解析の有効性を示している。
• ルールベースのアプローチは、アスペクト・マーカーや格変化マーカーを含む、ヒンディー語の動詞および名詞における複雑な屈曲パターンを効果的に処理できた。
• 語尾除去と文脈に依存する語根語再構築を組み合わせることで、単純なステミング手法よりも著しく正確性が向上した。
• システムの性能は、手動でキュレートされたテストセットを用いて検証され、自然言語処理応用における信頼性を確認した。
• レマタイザーは、将来的な機械翻訳および情報検索分野における研究を支援する再利用可能な、言語特化型リソースを提供する。
• 本研究は、他の語彙的に豊富なインド諸言語に対しても同様のルールベースのレマタイゼーションを拡張する基盤を確立した。