[論文レビュー] Validation and Normalization of DCS corpus using Sanskrit Heritage tools to build a tagged Gold Corpus

Sriram Krishnan, Amba Kulkarni+1 more|arXiv (Cornell University)|May 13, 2020

Natural Language Processing Techniques参考文献 11被引用数 4

ひとこと要約

本稿では、デジタル・サンスクリット語彙集（DCS）とサンスクリット・ヘリテージ・エンジンの間で洗練されたアライメント処理を実施し、標準化され、語形素的に品詞が付与され、分割されたゴールドコーパスを構築する。複合語、派生語、不変語の分野における語彙的差異、分割、品詞の付与の問題を解消することで、語彙マッピングの成功率が77％に達し、1語あたりのマッピングが一意であるケースは42％に達し、サンスクリットにおける自然言語処理タスクのコーパス品質が著しく向上する。

ABSTRACT

The Digital Corpus of Sanskrit records around 650,000 sentences along with their morphological and lexical tagging. But inconsistencies in morphological analysis, and in providing crucial information like the segmented word, urges the need for standardization and validation of this corpus. Automating the validation process requires efficient analyzers which also provide the missing information. The Sanskrit Heritage Engine's Reader produces all possible segmentations with morphological and lexical analyses. Aligning these systems would help us in recording the linguistic differences, which can be used to update these systems to produce standardized results and will also provide a Gold corpus tagged with complete morphological and lexical information along with the segmented words. Krishna et al. (2017) aligned 115,000 sentences, considering some of the linguistic differences. As both these systems have evolved significantly, the alignment is done again considering all the remaining linguistic differences between these systems. This paper describes the modified alignment process in detail and records the additional linguistic differences observed. Reference: Amrith Krishna, Pavankumar Satuluri, and Pawan Goyal. 2017. A dataset for Sanskrit word segmentation. In Proceedings of the Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature, page 105-114. Association for Computational Linguistics, August.

研究の動機と目的

• デジタル・サンスクリット語彙集（DCS）における語形素的分析と語の分割に生じる一貫性の欠如を是正し、信頼性の高いNLPアプリケーションの実現を支援すること。
• より言語学的に洗練された出力結果を有するサンスクリット・ヘリテージ・エンジンとDCSコーパスをアライメントさせることで、語彙的語彙、品詞、分割のラベルを標準化すること。
• 特に複合語、派生語、不変語の分野において、DCSのアノテーション方式とヘリテージ・エンジンの分析との間の言語的差異を特定・是正すること。
• 完全な語形素的および語彙的情報が付与された、高品質なタグ付きゴールドコーパスを生成し、サンスクリットにおける計算ツールの学習および評価に適した環境を整えること。
• 2つのシステム間の分析差異に起因する曖昧さや複数マッピングの問題を是正することで、語彙マッピングの明確性を高めること。

提案手法

• 有限状態技術および効果的アイレンバーグ機械を用いて、サンスクリット・ヘリテージ・エンジンのリーダーを適用し、すべての可能な分割と語形素的分析を生成すること。
• DCSのアノテーションとヘリテージ・エンジンの出力との間で、語彙、品詞、語形素的タグを焦点として、体系的なアライメントを実施すること。
• 複合語の分析、二次的派生語（taddhitāntas）および不変語（例：api）などの言語的差異を分類・正規化し、一貫性のあるタグ付けを確保すること。
• 言語学的妥当性と統計的頻度に基づいてアライメントを優先順位付けし、一致しない、または曖昧にマッピングされた語彙は手動レビューの対象とする。
• 参加形 vs. 名詞形（例：īśāna）や複合語 vs. 派生語の処理（例：brahmamayī）といった、分析差異を記録・分類し、コーパスおよびツールの改善に役立てる。
• 数十億通りの可能な分割を効率的に比較・マッピングできる共通のコンact表現を用い、統計的フィルタリングにより妥当な分析を優先する。

実験結果

リサーチクエスチョン

• RQ1 DCSコーパス内における語形素的および語彙的タグ付けの不整合性は、どのように体系的に同定され、是正されるか？
• RQ2 DCSのアノテーション方式とサンスクリット・ヘリテージ・エンジンの分析との間で、特に複合語と派生語の分野において、どのような主な言語的差異が生じるか？
• RQ3 このアライメントプロセスによって、両システム間で語彙、品詞、分割ラベルがどの程度標準化されるか？
• RQ4 不変語（例：api）や語形素的パラダイム（例：過去分詞形 vs. 人名詞）の処理の差異が、アライメントの正確性にどのように影響を与えるか？
• RQ5 このアライメントプロセスによって、コーパスの品質向上とツール間相互運用性の向上は、どの程度達成可能か？

主な発見

• 分析対象となった119,502文のうち、92,781文が完全な語彙マッピングを達成し、DCSとヘリテージ・エンジン間のアライメント成功率は77％に達した。
• 正常にマッピングされた文のうち、1語あたり正確に1つの語彙が一致したのは39,793文であり、一意なマッピングの割合は42％に達した。
• 12,639文は完全にマッピングされず、少なくとも1つの語彙がヘリテージ・エンジンに存在しなかった。主な原因は、prameyatvam や nirguṇatvam のような語の語彙エントリが欠落していることであった。
• 52,988文で複数のマッピングが生じ、主に言語的曖昧さに起因していた。例えば、複合語としての分析（dvija-uttamaḥ）と非複合語としての分析（dvi-ja-uttamaḥ）の差異、または同じ語に対して異なる分析がなされたケース（例：īśāna が参加形か名詞形かの区別）が主な要因であった。
• 14,082文は変更は加えられたが、少なくとも1つの語彙がマッピングされなかった。これは、二次的派生語や語形素的変形のアライメントに継続的な課題が存在することを示している。
• 主な問題点として、taddhitāntas（例：brahmamayī が複合語か派生語かの扱いの不一致）、語形素的タグ付けの差異（例：‘iic’ 対 ‘pfp. iic.’）、および不変語の誤分類（例：api がDCSでは‘ind.’ と分類されているが、ヘリテージ・エンジンでは‘conj.’ や ‘prep.’ と分類されている）が特定された。