[論文レビュー] A Binary Schema and Computational Algorithms to Process Vowel-based Euphonic Conjunctions for Word Searches

S. V. Kasmir Raja, V. Rajitha+1 more|arXiv (Cornell University)|Sep 15, 2014

Natural Language Processing Techniques参考文献 1被引用数 3

ひとこと要約

本稿では、サンスクリット語の母音に基づく音韻的結合（砂積、sandhi）を効率的に処理するためのバイナリスキーマと計算アルゴリズムを提案する。これにより、与えられた語のすべての可能な語彙的変形を生成し、包括的な語の検索を可能にする。サンスクリットの文字をバイナリで符号化し、パニニの砂積規則をビット操作に還元することで、語の高速変換が可能となり、サンスクリット電子テキストにおける検索再現率が著しく向上する。

ABSTRACT

Comprehensively searching for words in Sanskrit E-text is a non-trivial problem because words could change their forms in different contexts. One such context is sandhi or euphonic conjunctions, which cause a word to change owing to the presence of adjacent letters or words. The change wrought by these possible conjunctions can be so significant in Sanskrit that a simple search for the word in its given form alone can significantly reduce the success level of the search. This work presents a representational schema that represents letters in a binary format and reduces Paninian rules of euphonic conjunctions to simple bit set-unset operations. The work presents an efficient algorithm to process vowel-based sandhis using this schema. It further presents another algorithm that uses the sandhi processor to generate the possible transformed word forms of a given word to use in a comprehensive word search.

研究の動機と目的

• 砂積による語彙的変化のための検索再現率の低さという課題に対処すること。
• パニーニの音韻的結合規則を計算的に効率的なビット演算としてモデル化すること。
• 与えられた語幹から砂積変換を用いてすべての可能な語形を生成するアルゴリズムを設計すること。
• すべての有効な砂積変化を考慮することで、サンスクリット電子テキストにおける語の検索の正確性と完全性を向上させること。
• デジタル・サンスクリットコーパスにおける砂積処理のスケーラブルで効率的な計算フレームワークを提供すること。

提案手法

• 各サンスクリット文字を一意のバイナリコードとして表現し、ビットレベルの操作を可能にする。
• パニーニの砂積規則を、母音のバイナリ表現に対するビットのセットおよびアンセット操作の集合として符号化する。
• 入力語をすべての可能な砂積変形に変換するための砂積プロセッサを開発する。
• 砂積プロセッサを用いて与えられた語のすべての有効な語彙的形を体系的に生成する語形生成アルゴリズムを実装する。
• 生成された語形を検索クエリとして使用し、サンスクリット電子テキストの全文検索における再現率を向上させる。
• 事前に計算されたビットパターンを用いて冗長な計算を最小限に抑えることで、アルゴリズムのパフォーマンスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてサンスクリットの砂積規則を、計算処理に適したビットレベルの操作に体系的に還元できるか。
• RQ2 母音に基づく砂積を考慮した場合、与えられた語幹からすべての可能な語形を効率的に生成する最良の方法は何か。
• RQ3 サンスクリット文字のバイナリ表現が、検索応用におけるスケーラブルで高速な語彙的変換を可能にするか。
• RQ4 砂積に配慮した処理を用いることで、サンスクリット電子テキストにおける語検索の再現率はどの程度向上するか。
• RQ5 砂積規則の複雑さを、最小限で計算的に取り扱えるスキーマに抽象化できるか。

主な発見

• バイナリスキーマは、関連するすべてのサンスクリット母音とその砂積変換をビット操作に的確にマッピングし、計算の効率性を実現した。
• 砂積プロセッサは、複雑な言語的規則を単純なビットのセットおよびアンセット操作に還元し、高い計算効率を達成した。
• アルゴリズムは、与えられた語のすべての有効な語彙的変形を生成し、サンスクリットテキストコーパスにおける検索再現率を顕著に向上させた。
• クエリをすべての可能な砂積形に変換することで、本手法は正確な文字列一致の制限を超えた包括的な語の検索を可能にした。
• 実装による検証と実際のサンスクリット電子テキストへの応用を通じて、デジタル・ヒューマニティーズおよび計算言語学分野における実用的価値が示された。
• 最小限の計算オーバーヘッドで高いパフォーマンスを達成しており、大規模テキスト処理に適したことが確認された。