[논문 리뷰] Boosting Question Answering by Deep Entity Recognition

Piotr Przybyła|arXiv (Cornell University)|2016. 05. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 폴란드어를 위한 개방형 사실 질문 응답 시스템 RAFAEL을 제시하며, 이름표 기반 개체 인식(NER)을 일반화하여 단어넷 동의어집(synsets)에 개체를 연결하는 방식인 딥 엔티티 인식(DeepER)을 도입함으로써 정답 정확도를 향상시킨다. DeepER는 전통적인 명시적 개체 유형(예: '북극갈매기'를 새로 인식)을 초월한 개체를 인식할 수 있게 하여 정밀도를 유지하면서 재현율을 높이며, 쿠이즈 쇼 질문에 대한 수작업 평가를 통해 검증되었다.

ABSTRACT

In this paper an open-domain factoid question answering system for Polish, RAFAEL, is presented. The system goes beyond finding an answering sentence; it also extracts a single string, corresponding to the required entity. Herein the focus is placed on different approaches to entity recognition, essential for retrieving information matching question constraints. Apart from traditional approach, including named entity recognition (NER) solutions, a novel technique, called Deep Entity Recognition (DeepER), is introduced and implemented. It allows a comprehensive search of all forms of entity references matching a given WordNet synset (e.g. an impressionist), based on a previously assembled entity library. It has been created by analysing the first sentences of encyclopaedia entries and disambiguation and redirect pages. DeepER also provides automatic evaluation, which makes possible numerous experiments, including over a thousand questions from a quiz TV show answered on the grounds of Polish Wikipedia. The final results of a manual evaluation on a separate question set show that the strength of DeepER approach lies in its ability to answer questions that demand answers beyond the traditional categories of named entities.

연구 동기 및 목표

• 문자 형태가 풍부하고 자원이 적은 언어인 폴란드어와 같은 언어에서 사실 기반 질문 응답 시스템의 낮은 재현율 문제를 해결한다.
• 사전에 정의된 카테고리(예: 인물, 장소, 기관 등)에 국한되는 전통적 명시적 개체 인식(NER)의 한계를 극복한다.
• 엄격한 유형 체계가 아닌 의미적 카테고리(단어넷 동의어집)를 기반으로 개체를 인식하는 방법을 개발함으로써, 표준 NER가 포착하지 못하는 개체(예: '북극갈매기', '차르' 등)를 탐지할 수 있도록 한다.
• 예측된 답변과 정답 답변에 동일한 개체 인식 과정을 적용하여 후보 답변을 자동으로 평가함으로써 수작업 문자 일치에 의존도를 낮춘다.
• 백과사전 정의, 의미 해소, 리디렉션 페이지를 활용하여 포괄적인 개체 라이브러리를 구축함으로써 시스템의 내성적 탄력성과 커버리지 향상을 도모한다.

제안 방법

• 폴란다 위키백과의 정의, 의미 해소, 리디렉션 페이지를 분석하여 개체 라이브러리를 구축하고, 각 개체를 해당 단어넷 동의어집에 연결한다.
• DeepER를 구현하여 텍스트 내 개체 언급을 해당하는 단어넷 동의어집에 매칭함으로써, 문법적 레이블이 아닌 의미적 카테고리 기반으로 개체를 인식할 수 있도록 한다.
• DeepER와 전통적 NER 도구(NERF, Liner2, Quant)를 조합한 다단계 개체 인식 파이프라인을 구축하여 다양한 개체 유형을 커버한다.
• 폴란드어에서 수치 및 양을 식별하기 위해 탐색 기반 패턴 매칭을 적용하며, 숫자, 소수, 천자 표기 패턴을 활용한다.
• 예측된 답변과 정답 답변에 모두 DeepER를 재사용하여 후보 답변을 자동으로 평가하며, 원시 문자열 대신 결과로 도출된 동의어집을 비교한다.
• 폴란드 퀴즈 TV 쇼에서 수집한 질문을 활용해 광범위한 실험을 수행하였으며, 최종 수작업 평가에 앞서 문맥 길이 및 문서 검색 크기 등의 파라미터를 최적화하였다.

실험 결과

연구 질문

• RQ1 의미 기반 개체 인식 방법(DeepER)이 자원이 적은 언어에서 기존 NER를 초월해 질문 응답의 재현율을 향상시킬 수 있는가?
• RQ2 DeepER는 '동물'이나 '추상적 카테고리'와 같은 전통적인 명시적 개체 유형 외의 질문을 해결하는 데 얼마나 효과적인가?
• RQ3 DeepER를 통한 자동 평가 방식은 수작업 노력 감소에 얼마나 기여하며, 신뢰할 수 있는 정답 비교 정확도를 유지하는가?
• RQ4 RAFAEL과 같은 실제 개방형 QA 시스템에 DeepER를 통합했을 때 정밀도와 재현율에 유의미한 향상이 이루어지는가?
• RQ5 시스템은 별도로 사용되지 않은 테스트 세트에서 어떻게 성능을 발휘하며, 질문에 특화된 튜닝 없이도 높은 정확도를 유지하는가?

주요 결과

• DeepER는 기존 NER에 비해 정답을 도출할 수 있는 질문 수를 크게 증가시키며, 특히 '북극갈매기'나 '시메온 2世'처럼 표준 명시적 개체 유형 외의 개체에 대해 뛰어난 성능을 보인다.
• 시스템은 NER 기반 접근 방식과 유사한 정밀도를 달성함으로써, 더 넓은 인식 범위가 정답 품질에 악영향을 주지 않음을 확인하였다.
• DeepER를 통한 자동 평가는 수천 개의 질문을 신속하고 확장 가능하게 테스트할 수 있게 하여 수작업 평가에 소요되는 시간과 노력을 크게 줄였다.
• 별도의 테스트 세트에서의 수작업 평가 결과, DeepER 기반 시스템은 NER 기반 시스템보다 더 많은 질문을 정확히 답변함을 확인하였으며, 특히 의미적 또는 분류 체계 관계가 필요한 질문에서 뛰어난 성능을 보였다.
• 위키백과 정의와 리디렉션을 기반으로 구축한 개체 라이브러리는 다양한 문장 형태의 개체를 성공적으로 포괄하여, 불규칙한 폴란드어 문장에서의 언급 탐지에 강력한 기반을 제공하였다.
• 단어넷 기반 의미 유형화 통합 덕분에 '차르'가 '군주'를 암시한다는 것을 추론할 수 있었으며, 이는 NER에서 '인물'로 명시되지 않은 역사적 인물에 대해서도 정확한 답변을 도출할 수 있도록 하였다.