[논문 리뷰] Towards Domain Adaptation from Limited Data for Question Answering Using Deep Neural Networks

Timothy J. Hazen, Shehzaad Dhuliawala외 1명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 25인용 수 14

한 줄 요약

이 논문은 제한된 애너테이션 데이터를 사용하여 전문 분야의 질문 응답에 대한 도메인 적응을 조사하며, 심지어 소량의 도메인 내 데이터로도 사전 훈련된 BERT 기반 모델을 미세 조정함으로써 뛰어난 성능을 달성할 수 있음을 보여줍니다. 놀랍게도, 표준 전이 학습 기법이 비지도 도메인 적응 기법보다 성능이 뛰어나며, 답변 길이 분포를 중요도 가중치를 사용해 정렬함으로써 일반 모델의 성능을 향상시킬 수 있지만, 여전히 미세 조정이 적응 성공의 주요 요인입니다.

ABSTRACT

This paper explores domain adaptation for enabling question answering (QA) systems to answer questions posed against documents in new specialized domains. Current QA systems using deep neural network (DNN) technology have proven effective for answering general purpose factoid-style questions. However, current general purpose DNN models tend to be ineffective for use in new specialized domains. This paper explores the effectiveness of transfer learning techniques for this problem. In experiments on question answering in the automobile manual domain we demonstrate that standard DNN transfer learning techniques work surprisingly well in adapting DNN models to a new domain using limited amounts of annotated training data in the new domain.

연구 동기 및 목표

• 제한된 애너테이션 훈련 데이터를 가진 새로운 전문 분야에 질문 응답 시스템을 구현하는 데 도전하는 것.
• 일반 목적의 QA 모델을 자동차 설명서와 같은 전문 분야에 적응시키기 위한 전이 학습 기법의 효과성을 평가하는 것.
• 도메인 내 레이블이 부족한 상황에서 비지도 도메인 적응 또는 답변 길이 기반 중요도 가중치가 성능 향상에 기여하는지 조사하는 것.
• 사전 훈련된 모델의 초기 성능이 제한된 데이터로 새로운 도메인에 적응하는 데 영향을 미치는 정도를 파악하는 것.

제안 방법

• 자동차 설명서 도메인의 제한된 도메인 내 레이블 데이터를 사용하여 사전 훈련된 BERT 기반 QA 모델을 미세 조정하는 것.
• 목표 도메인의 분포와 유사하게 하기 위해 답변 길이 분포에 기반해 소스 도메인 훈련 샘플에 중요도 가중치를 적용하는 것.
• 다양한 양의 도메인 내 데이터를 사용하여 목표 도메인의 답변 길이 분포를 추정하고, 가중치 함수를 계산하는 것.
• 히스토그램 추정과 'auto' 박자 설정을 사용하여 소스 도메인과 목표 도메인의 답변 길이 확률 분포를 모델링하는 것.
• 가중치를 부여한 소스 데이터로 모델을 훈련하여 목표 도메인의 답변 길이와 유사한 샘플에 더 큰 가중치를 주는 것.
• 동일한 테스트 세트에서 표준 전이 학습, 중요도 가중치, 비지도 도메인 적응 기법의 성능를 비교하는 것.

실험 결과

연구 질문

• RQ1 제한된 도메인 내 레이블 데이터로 일반 목적의 QA 모델을 새로운 전문 도메인에 효과적으로 적응시킬 수 있는가?
• RQ2 중요도 가중치를 사용해 소스 도메인과 목표 도메인의 답변 길이 분포를 정렬하면 목표 도메인에서의 모델 성능이 향상되는가?
• RQ3 제한된 레이블 데이터만 존재할 경우, 비지도 도메인 적응의 성능가 표준 미세 조정 성능와 비교해 볼 때 어떤가?
• RQ4 사전 훈련된 모델의 초기 정확도가 최소한의 데이터로 새로운 도메인에 적응하는 데 얼마나 기여하는가?

주요 결과

• 일반 목적의 BERT 기반 QA 모델을 도메인 내 레이블 데이터 1000개 이하로 미세 조정하면 F1 스코어 약 0.70을 달성하며, 일반 모델보다 유의미하게 뛰어난 성능을 보입니다.
• 답변 길이 분포 기반 중요도 가중치 적용으로 일반 모델의 F1 스코어가 0.64에서 0.70으로 향상되었으며, 이는 도메인 특화 모델과의 격차의 약 30%를 메우는 데 기여합니다.
• 중요도 가중치 적용 모델의 성능는 표준 미세 조정 모델과 거의 동일하여, 미세 조정이 분포 가중치의 효과를 포함하고 있음을 시사합니다.
• 1000개 미만의 도메인 내 샘플로 미세 조정할 경우, 중요도 가중치 적용 모델은 표준 미세 조정 모델보다 약간 성능이 열 劣합니다. 이는 미세 조정이 분포 조정만으로는 부족하다는 것을 시사합니다.
• 결과적으로 전이 학습은 제한된 도메인 내 데이터가 존재하더라도 매우 효과적이며, 사전 훈련된 모델의 데이터 양이 적응 성공에 영향을 미치는 데 더 큰 영향을 미치며, 초기 정확도보다 중요합니다.