[논문 리뷰] Putting Question-Answering Systems into Practice: Transfer Learning for Efficient Domain Customization

Bernhard Kratzwald, Stefan Feuerriegel|arXiv (Cornell University)|2018. 04. 19.

Topic Modeling참고 문헌 68인용 수 4

한 줄 요약

이 논문은 최소한의 레이블된 데이터를 사용하여 새로운 도메인에 대해 질문-답변(QA) 시스템을 효율적으로 맞춤화하기 위한 전이학습 접근법을 제안한다. 메타데이터 필터링과 새로운 '융합 및 오버샘플링' 전이학습 방법을 조합함으로써, 금융 및 영화 산업 응용 사례에서 400개 미만의 주석 처리된 질문-답변 쌍을 사용하여 1문제당 정답 수를 3.4문제당 1개에서 2.0문제당 1개로 향상시키는 등 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Traditional information retrieval (such as that offered by web search engines) impedes users with information overload from extensive result pages and the need to manually locate the desired information therein. Conversely, question-answering systems change how humans interact with information systems: users can now ask specific questions and obtain a tailored answer - both conveniently in natural language. Despite obvious benefits, their use is often limited to an academic context, largely because of expensive domain customizations, which means that the performance in domain-specific applications often fails to meet expectations. This paper proposes cost-efficient remedies: (i) we leverage metadata through a filtering mechanism, which increases the precision of document retrieval, and (ii) we develop a novel fuse-and-oversample approach for transfer learning in order to improve the performance of answer extraction. Here knowledge is inductively transferred from a related, yet different, tasks to the domain-specific application, while accounting for potential differences in the sample sizes across both tasks. The resulting performance is demonstrated with actual use cases from a finance company and the film industry, where fewer than 400 question-answer pairs had to be annotated in order to yield significant performance gains. As a direct implication to management, this presents a promising path to better leveraging of knowledge stored in information systems.

연구 동기 및 목표

• 비용이 많이 들고 실용적 도입이 어려운 도메인 특화 QA 시스템의 문제를 해결하기 위해 수동 맞춤화의 높은 비용 문제를 해결하고자 한다.
• 전이학습을 활용하여 도메인 적응에 필요한 대규모 주석 데이터셋의 필요성을 줄이고자 한다.
• 메타데이터 필터링과 새로운 전이학습 전략을 통해 자원이 제한된 도메인에서 QA 성능을 향상시키고자 한다.
• 실제 기업 환경에서의 실용성과 효과성을 입증하고자 하며, 최소한의 인간 주석 데이터로 사전 훈련된 QA 모델을 미세조정하는 가능성과 효율성을 보여주고자 한다.

제안 방법

• 질문 추출 이전에 문서 유형, 출처 등의 메타데이터를 활용해 후보 문서를 필터링하고 순위를 매김으로써 검색 정밀도를 향상시킨다.
• 일반 도메인 사전 훈련 모델의 지식과 소규모 도메인 특화 데이터셋에 대한 미세조정을 융합하는 '융합 및 오버샘플링' 전이학습 방법을 도입한다.
• 일반 데이터와 도메인 특화 데이터를 동시에 학습하는 다중 작업 학습 설정을 사용하며, 희귀 도메인 클래스의 클래스 불균형 문제를 오버샘플링을 통해 완화한다.
• 질문과 문맥 표현을 융합하기 위해 공유 임bedding 레이어와 어텐션 메커니즘을 사용하는 신경망 아키텍처(DrQA, BiDAF, R-Net)를 활용한다.
• GloVe를 사용해 단어 수준 및 문자 수준 임베딩을 적용함으로써 희귀어나 OOV(Out-of-Vocabulary) 단어에 대한 강건성을 향상시킨다.
• 순차적 의존성을 모델링하고 관련 문맥 세그먼트에 집중하기 위해 양방향 순환 네트워크(LSTM/GRU)와 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 메타데이터 필터링은 도메인 특화 QA 시스템에서 문서 검색 정밀도를 향상시킬 수 있는가?
• RQ2 전이학습은 도메인 특화 QA 시스템의 데이터 주석화 부담을 줄이는 데 얼마나 효과적인가?
• RQ3 '융합 및 오버샘플링' 전략은 소규모이고 불균형한 도메인 데이터셋에 대해 미세조정 시 성능 저하를 완화할 수 있는가?
• RQ4 몇백 개의 레이블된 QA 쌍이 자원이 제한된 도메인에서 정답 추출 정확도를 얼마나 크게 향상시킬 수 있는가?

주요 결과

• 실제 응용 사례에서 제안된 시스템은 1문제당 정답 수를 3.4문제당 1개에서 2.0문제당 1개로 향상시켰다.
• 메타데이터 필터링은 문서 검색 정밀도를 크게 향상시켜 관련 없는 문서 검색을 줄이고 후속 정답 품질을 향상시켰다.
• 융합 및 오버샘플링 전이학습 방법은 금융 및 영화 도메인에서 400개 미만의 주석 처리된 질문-답변 쌍을 사용함에도 불구하고 뚜렷한 성능 향상을 달성했다.
• 질문과 정답을 동시에 모델링하는 어텐션 메커니즘이 복잡하거나 모호한 질문에서 쿼리와 문맥 간의 정렬을 향상시켰다.
• 문자 수준 임베딩의 사용은 특히 도메인 특화 용어에서 희귀어나 OOV 단어에 대한 강건성을 향상시켰다.
• 시스템은 도메인 간 일반화 능력이 뛰어나, 최소한의 데이터로도 전이학습을 통해 엔터프라이즈 지식 관리 시스템에서 높은 성능을 달성할 수 있음을 보여주었다.