[논문 리뷰] Framework for Question-Answering in Sanskrit through Automated Construction of Knowledge Graphs

Hrishikesh Terdalkar, Arnab Bhattacharya|arXiv (Cornell University)|2023. 10. 11.

Topic Modeling참고 문헌 7인용 수 4

한 줄 요약

이 논문은 고전적 텍스트에서 자동으로 지식 그래프를 구축함으로써 산스크리트어 질문-답변 시스템을 구축하기 위한 프레임워크를 제시한다. 이 시스템은 마하바르타, 라마야나, 바바프라카샤 니아냐투 세 텍스트 코퍼스에 적용되었으며, 사실 기반 질문에 대해 50%의 정확도를 달성했으며, 산스크리트어의 자연어 처리 파이프라인과 지식 그래프 구축의 주요 한계를 규명하였다.

ABSTRACT

Sanskrit (sa\d{m}sk\d{r}ta) enjoys one of the largest and most varied literature in the whole world. Extracting the knowledge from it, however, is a challenging task due to multiple reasons including complexity of the language and paucity of standard natural language processing tools. In this paper, we target the problem of building knowledge graphs for particular types of relationships from sa\d{m}sk\d{r}ta texts. We build a natural language question-answering system in sa\d{m}sk\d{r}ta that uses the knowledge graph to answer factoid questions. We design a framework for the overall system and implement two separate instances of the system on human relationships from mahābhārata and rāmāya\d{n}a, and one instance on synonymous relationships from bhāvaprakāśa nigha\d{n}\d{t}u, a technical text from āyurveda. We show that about 50% of the factoid questions can be answered correctly by the system. More importantly, we analyse the shortcomings of the system in detail for each step, and discuss the possible ways forward.

연구 동기 및 목표

• 언어적 복잡성과 자연어 처리 도구의 부족으로 인해 산스크리트 문학에서 구조화된 지식을 추출하는 데 도전하는 데에 대비하기 위해.
• 산스크리트어 텍스트의 특정 의미 관계에 맞춤형으로 설계된 확장 가능한 자동 지식 그래프 구축 프레임워크를 설계하기 위해.
• 이러한 지식 그래프를 활용하여 산스크리트어로 된 사실 기반 질문에 답하는 질문-답변 시스템을 구현하고 평가하기 위해.
• 향후 향상의 여지를 고려할 때, 자연어 처리 처리 및 지식 그래프 구축의 각 구성 요소에서 발생하는 한계를 분석하기 위해.

제안 방법

• 규칙 기반 및 자연어 처리 기법을 사용하여 산스크리트어 텍스트에서 특정 유형의 관계(예: 마하바르타의 인간 관계, 바바프라카샤 니아냐투의 동의어 관계)를 추출한다.
• 형태소 분석, 품사 태깅, 의존성 파싱, 관계 추출을 조합한 파이프라인을 활용하여 구조화된 지식 그래프를 구축한다.
• 질의 패턴을 그래프 기반 사실과 매칭함으로써 자연어 질문에 답하기 위해 지식 그래프 기반 검색 메커니즘을 사용한다.
• 이 프레임워크는 에피크(마하바르타, 라마야나)와 기술적 논문(바바프라카샤 니아냐투)을 포함한 다양한 텍스트 유형을 지원하여 유연성을 입증한다.
• 질문 분류 및 슬롯 채우기 방법을 적용하여 질문을 지식 그래프 쿼리로 매핑한다.
• 평가에서는 지식 그래프에서 유도된 사실 기반 질문을 대상으로 하며, 정답은 기준값(annotation)과 대조하여 검증한다.

실험 결과

연구 질문

• RQ1 산스크리트어 텍스트에서 자동으로 지식 그래프를 구축함으로써 사실 기반 질의에 대한 효과적인 질문-답변가능한가?
• RQ2 에피크 및 기술적 텍스트를 포함한 다양한 산스크리트어 코퍼스에 적용했을 때, 지식 그래프 기반 QA 시스템의 정확도는 어느 정도인가?
• RQ3 산스크리트어 지식 그래프 구축에서 자연어 처리 파이프라인의 주요 성능 저하 요인은 무엇인가?
• RQ4 사전에 학습된 자연어 처리 모델이 부족한 상황에서 규칙 기반 및 언어학적 처리 기법이 얼마나 효과적으로 보완할 수 있는가?
• RQ5 다양한 텍스트 장르(예: 서사적 대비 기술적)가 추출된 지식 그래프의 품질과 활용 가능성에 어떤 영향을 미치는가?

주요 결과

• 세 테스트 코퍼스 전반에서 사실 기반 질문에 대해 50%의 정확도를 달성하여 중간 수준이지만 유망한 성능을 보였다.
• 바바프라카샤 니아냐투 데이터셋에서 가장 높은 성능이 관찰되어, 기술적이고 구조화된 텍스트가 더 신뢰할 수 있는 지식 그래프를 생성함을 시사한다.
• 산스크리트어의 형태소적 및 문법적 복잡성이 특히 서사 텍스트에서 실체 및 관계 추출의 정확도에 심각한 영향을 미쳤다.
• 산스크리트어용 표준화된 자연어 처리 도구의 부족으로 인해 파싱 및 실체 연결 오류가 발생했으며, 이는 시스템 실패의 주요 원인이었다.
• 의존성 파싱과 관계 추출은 사전 처리 파이프라인의 노이즈에 특히 민감하여, 강력한 언어학 도구의 필요성을 강조한다.
• 각 단계의 파이프라인에서 발생하는 주요 실패 요인을 규명하여 향후 산스크리트어 자연어 처리 시스템의 향상에 실질적인 통찰을 제공한다.