[논문 리뷰] Parsing of part-of-speech tagged Assamese Texts

Mirzanur Rahman, Sufal Das외 1명|ArXiv.org|2009. 12. 09.

Natural Language Processing Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 품사 태깅된 문장에서 문법적 정확성을 점검하는 규칙 기반 파싱 시스템을 제시한다. 문법적 구조를 분석하고 수작업으로 작성된 문법 규칙을 적용하여 시스템은 오류를 탐지하고, 정확한 문장에 대해 파싱 트리를 생성한다. 이는 아삼어 자연어 처리를 위한 기초 도구를 기여한다.

ABSTRACT

A natural language (or ordinary language) is a language that is spoken, written, or signed by humans for general-purpose communication, as distinguished from formal languages (such as computer-programming languages or the "languages" used in the study of formal logic). The computational activities required for enabling a computer to carry out information processing using natural language is called natural language processing. We have taken Assamese language to check the grammars of the input sentence. Our aim is to produce a technique to check the grammatical structures of the sentences in Assamese text. We have made grammar rules by analyzing the structures of Assamese sentences. Our parsing program finds the grammatical errors, if any, in the Assamese sentence. If there is no error, the program will generate the parse tree for the Assamese sentence

연구 동기 및 목표

• 품사 태깅된 입력을 사용하여 아삼어 문장의 문법 오류를 탐지하는 계산적 방법을 개발하기 위해.
• 아삼어 문장의 문법적 구조에 기반한 문법 규칙을 설계하기 위해.
• 표시되지 않은 문법적으로 올바른 문장에 대해 파싱 트리를 생성하는 파싱 시스템을 구현하기 위해.
• 아삼어와 같이 자원이 부족한 인도어에 특화된 파싱 솔루션을 기여하기 위해.
• 정규화된 데이터가 제한된 환경에서 아삼어 NLP의 향후 발전을 지원하기 위해 구조적이고 규칙 기반의 파싱 프레임워크를 제공하기 위해.

제안 방법

• 아삼어 문장 구조의 분석에서 수작업으로 유도된 문법 규칙가 사용되었다.
• 시스템은 품사 태깅된 입력 문장을 입력으로 받아 규칙 기반 문법적 검사기를 통해 처리한다.
• 각 문장은 사전 정의된 문법적 규칙에 따라 구조적 일관성 문제를 탐지하기 위해 검증된다.
• 오류가 발견되지 않으면, 검증된 문법적 구조를 사용하여 시스템이 파싱 트리를 구성한다.
• 파서는 통계 모델이 아닌 언어학적 규칙에 의존하므로 결정론적으로 작동한다.
• 표본 데이터가 제한된 자원이 부족한 언어 환경을 고려하여 설계되었다.

실험 결과

연구 질문

• RQ1 품사 태깅된 입력을 사용하여 아삼어 문장의 문법 오류를 어떻게 탐지할 수 있는가?
• RQ2 어떤 문법 규칙 세트가 아삼어 문장의 구조를 정확하게 표현하는가?
• RQ3 규칙 기반 시스템이 표시되지 않은 문법적으로 올바른 아삼어 문장에 대해 효과적으로 파싱 트리를 생성할 수 있는가?
• RQ4 이 방법은 다른 자원이 부족한 인도아리아어 언어로 얼마나 일반화될 수 있는가?
• RQ5 아삼어에 대해 대규모 정규화된 코퍼스가 없을 경우 규칙 기반 파싱의 실현 가능성은 어떠한가?

주요 결과

• 시스템은 규칙 기반 문법적 검증을 통해 아삼어 문장의 문법 오류를 성공적으로 탐지한다.
• 문법적으로 올바른 문장에 대해서는 정확하고 구조화된 파싱 트리가 생성된다.
• 대규모 정규화된 데이터셋이 없는 상황에서 자원이 부족한 언어 처리에 이 방법이 실현 가능함을 보여준다.
• 구조 분석에서 도출된 문법 규칙가 아삼어의 핵심 문법적 패턴을 효과적으로 모델링한다.
• 이 방법은 아삼어 및 유사 언어의 NLP 도구 개발을 위한 기초를 제공한다.
• 시스템의 성능은 수작업으로 정의된 규칙의 완전성과 커버리지에 의해 제한되며, 규칙 확장 또는 하이브리드 접근법의 필요성을 시사한다.