[논문 리뷰] Answer Extraction for Why Arabic Questions Answering Systems: EWAQ

Fatima T. AL-Khawaldeh|arXiv (Cornell University)|2019. 07. 04.

Topic Modeling참고 문헌 4인용 수 15

한 줄 요약

이 논문은 '왜' 질문에 전적으로 집중한 아랍어 질의응답 시스템인 EWAQ를 제안한다. 검색 엔진이 검색한 문단을 재정렬하기 위해 텍스트 함의 메트릭스를 사용하고, 가장 타당한 답변을 추출한다. 이 시스템은 함의 기반 유사도 스코어링을 활용함으로써 기준 검색 엔진보다 정확도를 향상시키며, 설명성 아랍어 질의에 대한 답변 추출을 크게 향상시킨다는 점을 입증한다.

ABSTRACT

With the increasing amount of web information, questions answering systems becomes very important to allow users to access to direct answers for their requests. This paper presents an Arabic Questions Answering Systems based on entailment metrics. The type of questions which this paper focuses on is why questions. There are many reasons lead us to develop this system: generally, the lack of Arabic Questions Answering Systems and scarcity Arabic Questions Answering Systems which focus on why questions. The goal of the proposed system in this research is to extract answers from re-ranked retrieved passages which are retrieved by search engines. This system extracts the answer only to why questions. This system is called by EWAQ: Entailment based Why Arabic Questions Answering. Each answer is scored with entailment metrics and ranked according to their scores in order to determine the most possible correct answer. EWAQ is compared with search engines: yahoo, google and ask.com, the well-established web-based Questions Answering systems, using manual test set. In EWAQ experiments, it is showed that the accuracy is increased by implementing the textual entailment in re-raking the retrieved relevant passages by search engines and deciding the correct answer. The obtained results show that using entailment based similarity can help significantly to tackle the why Answer Extraction module in Arabic language.

연구 동기 및 목표

• 아랍어 질의응답 시스템, 특히 '왜' 질문에 대한 부족함을 해결하기 위해.
• 함의 기반 접근을 활용하여 설명성 아랍어 질의의 답변 추출 정확도를 향상시키기 위해.
• 함의 메트릭스를 사용하여 재정렬된 문단에서 후보 답변을 스코어링하고 순위를 매기는 시스템을 개발하기 위해.
• 함의 기반 재정렬이 아랍어 '왜' 질문에 대한 답변 선택을 어떻게 향상시키는지 평가하기 위해.

제안 방법

• 기존 검색 엔진(Google, Yahoo, 및 커스텀 URL 기반 엔진)을 사용해 문단을 검색한다.
• 후보 답변과 원본 '왜' 질문 사이의 의미 관계를 평가하기 위해 텍스트 함의 메트릭스를 적용한다.
• 질문과 후보 답변 간의 함의 정도에 따라 후보 답변을 스코어링하며, 이는 질문을 논리적으로 설명하는 데 얼마나 잘 부합하는지를 나타낸다.
• 이러한 함의 스코어에 기반해 문단을 재정렬하여 가장 관련성이 높은 답변을 우선순위로 배치한다.
• 재정렬된 목록에서 가장 높은 스코어를 받은 답변을 최종 출력으로 선택한다.
• 기준 검색 엔진과의 성능 비교를 위해 수작업으로 구성한 테스트 세트를 사용해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 텍스트 함의 메트릭스가 아랍어 '왜' 질문에 대한 답변 추출을 효과적으로 향상시킬 수 있는가?
• RQ2 기존 검색 엔진과 비교해, 검색된 문단을 함의 기반으로 재정렬함으로써 답변 선택 정확도는 어떻게 향상되는가?
• RQ3 EWAQ는 일반 목적의 검색 엔진에 비해 설명성 아랍어 질문에 대해 얼마나 뛰어난 성능을 보이는가?
• RQ4 함의 기반 유사도는 아랍어 질의응답 시스템에서 정답 답변을 식별하는 데 실현 가능하고 효과적인 방법인가?

주요 결과

• 재정렬에 텍스트 함의를 활용함으로써 기준 검색 엔진에 비해 답변 추출 정확도가 뚜렷이 향상되었다.
• 질문과 후보 답변 간의 의미 함의를 활용함으로써 EWAQ는 '왜' 질문에 대한 정답 답변 식별 정밀도를 높였다.
• 키워드 매칭이 아닌 논리적 설명에 초점을 맞춤으로써 답변 선택에 측정 가능한 향상이 이루어졌다.
• 결과적으로 함의 기반 유사도가 아랍어 설명성 질문에 대한 답변 추출 모듈을 해결하는 데 효과적임을 확인했다.