[논문 리뷰] Watsonsim: Overview of a Question Answering Engine

Sean Gallagher, Wlodek Zadrozny외 2명|arXiv (Cornell University)|2014. 12. 02.

Topic Modeling인용 수 6

한 줄 요약

Watsonsim는 대학 팀에서 개발한 오픈소스 질문-답변 시스템으로, Lucene, Indri, Bing, Google 등의 검색 엔진, OpenNLP, UIMA 등의 자연어 처리 도구, Weka 등의 기계학습 도구를 활용해 제퍼디 스타일 질문에 답하는 데 목적이 있다. 제한된 자원과 시간 제약 속에서도 데이터 정제, 파assage 점수 매기기, 시스템 확장성 등의 주요 과제가 있었음에도 불구하고, 이 시스템은 제퍼디 질문에서 18%의 정확도를 달성하였다.

ABSTRACT

The objective of the project is to design and run a system similar to Watson, designed to answer Jeopardy questions. In the course of a semester, we developed an open source question answering system using the Indri, Lucene, Bing and Google search engines, Apache UIMA, Open- and CoreNLP, and Weka among additional modules. By the end of the semester, we achieved 18% accuracy on Jeopardy questions, and work has not stopped since then.

연구 동기 및 목표

• 학기 동안 제한된 시간 내에 제퍼디 스타일의 퀴즈 질문을 처리할 수 있는 기능적인 질문-답변 시스템을 설계하고 구현하는 것.
• 위키피디아, 위키인용문, 셰익스피어 등의 다양한 데이터 소스를 통합된 검색 파이프라인으로 통합하는 것.
• 실제 QA 환경에서 다양한 검색 엔진(Lucene, Indri, Bing, Google)과 점수 매기기 모델의 성능을 평가하고 비교하는 것.
• 오픈소스 도구와 기존 자연어 처리 프레임워크를 활용해 확장 가능하고 모듈화된 QA 시스템을 구축할 수 있는지 탐색하는 것.
• 기존 접근 방식의 한계, 예를 들어 낮은 파assage 검색 성능과 비효율적인 자연어 처리 파싱 등과 같은 문제점을 특정하고 향상 방안을 제안하는 것.

제안 방법

• 질문 유형 분류, 쿼리 생성, 답변 점수 매기기 등 전용 모듈을 갖춘 다단계 파이프라인 아키텍처를 사용한다.
• 팩토이드 질문은 제목보다 콘텐츠를 우선시하는 가중치가 부여된 쿼리를 사용하며, 초기 검색에는 Lucene, Indri, Bing를 활용한다.
• 공백 채우기 질문은 언더스코어를 제거하고 제목에서 후보 답변을 추출한 후, 파assage 점수 매기기를 수행한다.
• 지원 파assage는 n-그램 유사도 및 어휘 빈도와 같은 어순, 문법, 의미적 특징을 조합하여 점수 매긴다.
• 다양한 검색 엔진의 결과를 통합하고 중복 항목을 제거하여 부정확도를 줄이는 하이브리드 검색 전략을 채택한다.
• 점수 매기기 모델로는 평균 역수 순위(MRR)와 이진 재현율을 사용하며, 이는 최소한 하나의 정답이 있는 질문에 대해서만 계산된다.

실험 결과

연구 질문

• RQ1 작은 학술 팀이 공개된 도구와 데이터 소스만을 사용해 기능적인 오픈소스 질문-답변 시스템을 구축할 수 있는가?
• RQ2 기존의 검색 엔진(Lucene, Indri, Bing, Google)이 제퍼디 스타일 질문에 대해 관련 답변을 얼마나 효과적으로 검색하는가?
• RQ3 데이터 전처리 선택 사항(예: 위키피디아 리디렉션 인덱싱)이 정답 정확도와 순위 품질에 어떤 영향을 미치는가?
• RQ4 어휘 매칭 외에 자연어 처리 기반 점수 매기기 및 의미 모델이 정답 선택에 얼마나 기여하는가?
• RQ5 시스템 아키텍처(UIMA 대비 커스텀 파이프라인 등)가 확장성, 유지보수성, 성능에 어떤 영향을 미치는가?

주요 결과

• 시스템은 제퍼디 질문에서 18%의 정확도를 달성하여, 오픈소스 도구를 활용해 학기 동안 기능적인 QA 시스템을 구축할 수 있음을 입증하였다.
• 위키피디아 리디렉션 인덱싱은 이진 재현율을 22%에서 28%로 높였지만, 평균 역수 순위(MRR)는 0.6469에서 0.3483으로 감소하여 전체 정확도가 6% 감소하였다.
• Indri와 Lucene를 함께 오프라인으로 쿼리한 결과, 이진 재현율이 21%에 도달하여 Lucene 단독 사용 시(13%)보다 유의미하게 높았다.
• n-그램 유사도와 어휘 빈도를 활용한 파assage 점수 매기기는 답변 순위를 향상시켰지만, 자연어 처리 기반 파싱은 실제 사용에 비효율적으로 느렸다.
• Bing의 월 5,000건 쿼리 할당량 덕분에 두 차례의 성능 측정이 가능했지만, Google의 일일 100건 제한으로 인해 대규모 사용은 비현실적이었다.
• UIMA는 후기 도입으로 깊이 통합되지 않았지만, 확장성과 언어 간 상호운용성 측면에서 잠재적으로 우수한 성능을 발휘할 것으로 평가된다.