[논문 리뷰] Natural language processing for word sense disambiguation and information extraction

K. R. Chowdhary|arXiv (Cornell University)|2020. 04. 05.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 박사학위 논문은 사전 기반 접근 방식, 퍼지 논리 기반 문서 검색, 질문-응답을 위한 구조화된 쿼리 언어(구조화된 설명 언어, SDL)를 사용하여 어휘의 의미 해석(WSD) 및 정보 추출(IE)을 위한 새로운 프레임워크를 제안한다. 또한 베이지안 방법의 한계를 극복하기 위해 덴스터-섀퍼 이론 기반 전략을 도입하여 비정형 텍스트에서 더 유연하고 강력한 정보 추출을 가능하게 한다.

ABSTRACT

This research work deals with Natural Language Processing (NLP) and extraction of essential information in an explicit form. The most common among the information management strategies is Document Retrieval (DR) and Information Filtering. DR systems may work as combine harvesters, which bring back useful material from the vast fields of raw material. With large amount of potentially useful information in hand, an Information Extraction (IE) system can then transform the raw material by refining and reducing it to a germ of original text. A Document Retrieval system collects the relevant documents carrying the required information, from the repository of texts. An IE system then transforms them into information that is more readily digested and analyzed. It isolates relevant text fragments, extracts relevant information from the fragments, and then arranges together the targeted information in a coherent framework. The thesis presents a new approach for Word Sense Disambiguation using thesaurus. The illustrative examples supports the effectiveness of this approach for speedy and effective disambiguation. A Document Retrieval method, based on Fuzzy Logic has been described and its application is illustrated. A question-answering system describes the operation of information extraction from the retrieved text documents. The process of information extraction for answering a query is considerably simplified by using a Structured Description Language (SDL) which is based on cardinals of queries in the form of who, what, when, where and why. The thesis concludes with the presentation of a novel strategy based on Dempster-Shafer theory of evidential reasoning, for document retrieval and information extraction. This strategy permits relaxation of many limitations, which are inherent in Bayesian probabilistic approach.

연구 동기 및 목표

• 비정형 텍스트 문서에서 구조화되고 실행 가능한 정보를 추출하는 데 도전 과제를 해결하기 위해.
• 어휘의 의미 해석 정확도와 속도를 사전 기반 방법을 통해 향상시키기 위해.
• 의문어의 불확실성과 일치 문제를 다루기 위해 퍼지 논리를 적용하여 문서 검색을 향상시키기 위해.
• 질문-응답 시스템을 위한 정보 추출을 단순화하기 위해 질문의 핵심 성분(누구, 무엇, 언제, 어디서, 왜)을 기반으로 한 구조화된 설명 언어(SDL)를 사용하기 위해.
• 문서 검색 및 정보 추출에서 베이지안 확률 모델의 엄격한 독립성 가정을 완화할 수 있는 더 민첩한 대안을 개발하기 위해

제안 방법

• 단어 간 의미 유사성과 그 동의어를 활용하여 어휘의 의미 해석을 위한 사전 기반 접근 방식.
• 유사도 평가의 불확실성을 모델링하고 검색의 강건성을 향상시키기 위해 문서 검색에 퍼지 논리를 적용.
• 자연어 쿼리를 효율적인 정보 추출을 위한 구조화된 데이터 형식으로 매핑하기 위해 설계된 구조화된 설명 언어(SDL).
• SDL을 질문-응답 파이프라인과 통합하여 검색된 문서에서 답변을 추출하고 정리하기 위해.
• 다양한 소스에서의 증거를 결합하기 위해 덴스터-섀퍼 이론을 적용하여 베이지안 모델에 내재된 엄격한 확률적 독립성 가정을 완화하기 위해.
• 문서 검색, WSD, IE 모듈을 통합하여 종단 간 정보 추출을 위한 유일한 시스템으로 구성된 하이브리드 아키텍처.

실험 결과

연구 질문

• RQ1 사전 기반 방법은 자연어 처리 시스템에서 어휘의 의미 해석의 속도와 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 의문어가 모호하거나 모호하지 않은 경우, 퍼지 논리는 문서 검색에서 어떤 정도로 향상될 수 있는가?
• RQ3 구조화된 설명 언어(SDL)는 자연어 쿼리를 자동으로 추출하기 위한 구조화된 정보로 효과적으로 매핑할 수 있는가?
• RQ4 덴스터-섀퍼 이론은 문서 검색 및 정보 추출에서 불확실한 증거를 조합할 때 베이지안 방법보다 어떻게 슈퍼어리어어하는가?
• RQ5 확률 모델은 정보 추출에서 어떤 한계를 가지며, 증거 기반 추론은 더 민감한 대안을 어떻게 제공할 수 있는가?

주요 결과

• 사전 기반 WSD 방법은 예시를 통해 효과적인 의미 해석을 보였지만, 정량적 정확도 지표는 보고되지 않았다.
• 퍼지 논리 기반 문서 검색은 쿼리-문서 매칭에서의 불확실성과 모호성을 효과적으로 다루어 검색의 강건성을 향상시켰다.
• SDL 기반 시스템은 핵심 질문 성분(누구, 무엇, 언제, 어디서, 왜)을 중심으로 답변을 정렬함으로써 정보 추출 과정을 단순화시켰다.
• 덴스터-섀퍼 이론 접근 방식은 베이지안 모델에 내재된 독립성 가정을 완화시켜 더 민감한 증거 조합을 가능하게 하였다.
• WSD, 문서 검색, IE를 통합한 종단 간 파이프라인은 비정형 텍스트에서 종단 간 정보 추출의 가능성과 타당성을 입증하였다.
• 제안된 프레임워크는 원시 텍스트를 구조화되고 분석 가능한 데이터로 변환함으로써 정보 과부하를 줄이는 데 잠재력을 보였다.