[論文レビュー] Framework for Question-Answering in Sanskrit through Automated Construction of Knowledge Graphs

Hrishikesh Terdalkar, Arnab Bhattacharya|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling参考文献 7被引用数 4

ひとこと要約

本稿では、古典的文学テキストから自動的に知識グラフを構築することにより、悉曇語の質問応答システムを構築するフレームワークを提示する。このシステムは、マハーバーラタ、ラーマーヤナ、バーヴァプラカーシャ・ニーガンツの3つの悉曇語コーパスに適用され、事実関連の質問に対して50%の正答率を達成した。一方で、悉曇語における自然言語処理パイプラインおよび知識グラフ構築における主な制限要因も特定した。

ABSTRACT

Sanskrit (sa\d{m}sk\d{r}ta) enjoys one of the largest and most varied literature in the whole world. Extracting the knowledge from it, however, is a challenging task due to multiple reasons including complexity of the language and paucity of standard natural language processing tools. In this paper, we target the problem of building knowledge graphs for particular types of relationships from sa\d{m}sk\d{r}ta texts. We build a natural language question-answering system in sa\d{m}sk\d{r}ta that uses the knowledge graph to answer factoid questions. We design a framework for the overall system and implement two separate instances of the system on human relationships from mahābhārata and rāmāya\d{n}a, and one instance on synonymous relationships from bhāvaprakāśa nigha\d{n}\d{t}u, a technical text from āyurveda. We show that about 50% of the factoid questions can be answered correctly by the system. More importantly, we analyse the shortcomings of the system in detail for each step, and discuss the possible ways forward.

研究の動機と目的

• 言語的複雑性と自然言語処理ツールの不足により、悉曇語文学からの構造的知識の抽出が困難であるという課題に対処すること。
• 特定の意味的関係に特化した、スケーラブルなフレームワークを考案し、悉曇語テキストからの自動的知識グラフ構築を実現すること。
• これらの知識グラフを活用して、悉曇語の事実関連質問に答えることができる質問応答システムを実装・評価すること。
• 将来的な改善のため、自然言語処理処理および知識グラフ構築における各コンponentの限界を分析すること。

提案手法

• ルールベースおよび自然言語処理技術を用いて、マハーバーラタにおける人間関係やバーヴァプラカーシャ・ニーガンツにおける類義的関係などの、特定の種類の関係を悉曇語テキストから抽出する。
• 語彙素解析、品詞タグ付け、依存構文解析、関係抽出を組み合わせたパイプラインを用いて、構造化された知識グラフを構築する。
• 質問のパターンを知識グラフの構造的事実にマッチングさせることで、自然言語の質問に答える知識グラフベースの検索メカニズムを採用する。
• 叙事的文学（マハーバーラタ、ラーマーヤナ）と技術的論説（バーヴァプラカーシャ・ニーガンツ）の両方のテキストタイプをサポートしており、柔軟性を示している。
• 質問分類とスロット埋め込みのアプローチを用いて、質問を知識グラフクエリに変換する。
• 知識グラフから抽出した事実関連の質問を用いて評価を実施し、正解はゴールドスタンダードのアノテーションと照合した。

実験結果

リサーチクエスチョン

• RQ1 悉曇語テキストから自動的に知識グラフを構築することは、事実関連の質問応答に有効に機能するか？
• RQ2 叙事的文学および技術的文献を含む多様な悉曇語コーパスに適用した場合、知識グラフベースのQAシステムの正答率はどの程度か？
• RQ3 悉曇語の知識グラフ構築におけるNLPパイプラインの主なボトルネックは何か？
• RQ4 事前学習済みの自然言語処理モデルが不足している状況において、ルールベースおよび言語処理技術がどれほど補完的役割を果たせるか？
• RQ5 物語的文体と技術的文体などの異なるテキストジャンルは、抽出された知識グラフの品質と利用可能性にどのように影響を与えるか？

主な発見

• 3つのテストコーパス全体で、事実関連質問に対する正答率が50%に達した。これは中程度ではあるが、前向きな性能を示している。
• バーヴァプラカーシャ・ニーガンツデータセットで最高の性能が観察された。これは、技術的・構造的テキストがより信頼性の高い知識グラフを生成することを示唆している。
• 悉曇語の語彙素的および構文的複雑性が、エンティティおよび関係抽出の正確性に顕著に悪影響を及えた。特に物語的テキストにおいて顕著であった。
• 悉曇語用の標準化された自然言語処理ツールの欠如が、解析およびエンティティリンクの誤りを引き起こし、システムの失敗要因の主な要因となった。
• 依存構文解析および関係抽出は、前処理パイプラインのノイズに特に敏感であった。これにより、堅牢な言語処理ツールの必要性が強調された。
• 本研究では、パイプライン各段階における主な失敗要因を同定し、将来的な悉曇語NLPシステムの改善に向けた具体的なインサイトを提供した。