[논문 리뷰] BAS: An Answer Selection Method Using BERT Language Model

Jamshid Mozafari, Afsaneh Fatemi외 1명|arXiv (Cornell University)|2019. 11. 04.

Topic Modeling참고 문헌 30인용 수 15

한 줄 요약

이 논문은 질문과 후보 답변의 의미적 및 문법적 이해를 향상시키기 위해 BERT 언어 모델을 활용하는 새로운 답변 선택 방법 BAS(BERT Answer Selection)를 제안한다. TrecQA Raw, TrecQA Clean 및 WikiQA 데이터셋에서의 실험 결과, BAS는 이전 방법들을 크게 앞서며, 강력한 언어 모델링이 답변 선택 성능을 향상시킨다는 것을 입증한다. 특히 효과적인 분류기와 조합할 경우 더욱 두드러진 성능 향상을 보인다.

ABSTRACT

In recent years, Question Answering systems have become more popular and widely used by users. Despite the increasing popularity of these systems, the their performance is not even sufficient for textual data and requires further research. These systems consist of several parts that one of them is the Answer Selection component. This component detects the most relevant answer from a list of candidate answers. The methods presented in previous researches have attempted to provide an independent model to undertake the answer-selection task. An independent model cannot comprehend the syntactic and semantic features of questions and answers with a small training dataset. To fill this gap, language models can be employed in implementing the answer selection part. This action enables the model to have a better understanding of the language in order to understand questions and answers better than previous works. In this research, we will present the "BAS" (BERT Answer Selection) that uses the BERT language model to comprehend language. The empirical results of applying the model on the TrecQA Raw, TrecQA Clean, and WikiQA datasets demonstrate that using a robust language model such as BERT can enhance the performance. Using a more robust classifier also enhances the effect of the language model on the answer selection component. The results demonstrate that language comprehension is an essential requirement in natural language processing tasks such as answer-selection.

연구 동기 및 목표

• 작은 데이터셋에서 의미적 및 문법적 이해에 어려움을 겪는 기존 답변 선택 모델의 한계를 해결하기 위해.
• 사전 훈련된 언어 모델인 BERT와 같은 모델이 질문과 후보 답변의 맥락적 이해를 향상시켜 답변 선택에 기여할 수 있는지 탐색하기 위해.
• BERT와 강력한 분류기를 통합하여 답변 선택 작업에서 최고의 성능을 내는 통합 프레임워크를 개발하기 위해.
• 저자원 환경에서 흔히 발생하는 작은 훈련 데이터셋에서 BERT 기반 모델링의 효과를 평가하기 위해.
• 자연어 처리 분야에서 높은 성능을 내는 답변 선택에 있어 언어 이해가 핵심 요소임을 입증하기 위해.

제안 방법

• BAS 프레임워크는 질문과 후보 답변에 대한 맥락적 표현을 활용하여 BERT 기반 모델을 답변 선택 작업에 맞게 미세조정한다.
• 입력 시퀀스는 질문과 각 후보 답변을 [CLS] 및 [SEP] 토큰으로 연결하여 BERT 입력 형식으로 구성한다.
• [CLS] 토큰의 최종 히든 상태를 분류를 위한 문장 수준의 표현으로 사용한다.
• BERT 인코더 위에 피드포워드 분류기 헤드를 추가하여 각 후보 답변의 관련도 점수를 예측한다.
• 교차 엔트로피 손실을 사용하여 답변 관련도를 최적화하기 위해 엔드 투 엔드로 모델을 훈련시킨다.
• 이 방법은 TrecQA Raw, TrecQA Clean 및 WikiQA와 같은 세 가지 벤치마크 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 기존의 전통적 방법과 비교해 BERT 기반 모델이 답변 선택 성능을 크게 향상시킬 수 있는가?
• RQ2 BERT와 같은 강력한 언어 모델을 통합함으로써 모델이 질문과 답변의 문법적 및 의미적 특징을 얼마나 잘 포착할 수 있는가?
• RQ3 BERT에서 얻는 성능 향상은 임베딩 위에 사용된 분류기의 품질에 의존하는가?
• RQ4 BAS는 훈련 데이터가 제한된 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 오픈 도메인 QA 시스템에서 언어 이해는 답변 선택에 얼마나 기여하는가?

주요 결과

• BAS는 TrecQA Raw, TrecQA Clean 및 WikiQA 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 압도적으로 앞선다.
• BERT의 사용은 질문과 답변 간의 의미적 및 문법적 관계를 이해하는 데 모델의 능력을 크게 향상시킨다.
• BERT와 강력한 분류기를 조합하면 BERT만 사용할 경우보다 더 큰 성능 향상을 이룬다.
• 작은 훈련 세트에서도 모델이 강건함을 보이며, 효과적인 전이 학습의 가능성을 시사한다.
• 실증 결과는 언어 이해가 높은 정확도를 달성하기 위한 핵심 요소임을 확인한다.
• 모델의 성능은 복잡한 의미 매칭 상황에서 특히 기존 독립형 모델들보다 끊임없이 뛰어나다.