[논문 리뷰] BERTSel: Answer Selection with Pre-trained Models

Dongfang Li, Yifei Yu외 2명|arXiv (Cornell University)|2019. 05. 18.

Topic Modeling참고 문헌 13인용 수 12

한 줄 요약

이 논문은 쌍별 랭킹 문제로 간주하는 답변 선택 작업을 위한 피지테이닝된 BERT 기반 모델인 BERTSel을 소개한다. BERT의 문맥적 표현과 교차 엔트로피 손실 및 허지 손실을 조합한 하이브리드 손실을 활용하여, BERTSel은 다섯 개의 벤치마크 데이터셋에서 최신 기술 성능을 달성하였으며, MRR 및 MAP 점수에서 이전 방법들보다 뚜렷한 우월성을 보였다.

ABSTRACT

Recently, pre-trained models have been the dominant paradigm in natural language processing. They achieved remarkable state-of-the-art performance across a wide range of related tasks, such as textual entailment, natural language inference, question answering, etc. BERT, proposed by Devlin et.al., has achieved a better marked result in GLUE leaderboard with a deep transformer architecture. Despite its soaring popularity, however, BERT has not yet been applied to answer selection. This task is different from others with a few nuances: first, modeling the relevance and correctness of candidates matters compared to semantic relatedness and syntactic structure; second, the length of an answer may be different from other candidates and questions. In this paper. we are the first to explore the performance of fine-tuning BERT for answer selection. We achieved STOA results across five popular datasets, demonstrating the success of pre-trained models in this task.

연구 동기 및 목표

• 사전 훈련된 BERT 모델이 얕은 단어 임베딩을 사용하는 모델이 지배해 온 답변 선택 작업에 효과적으로 적용될 수 있는지 조사하기 위해.
• 깊은 문맥적 표현을 활용한 전이 학습을 통해 기존 답변 선택 모델의 일반화 능력이 제한된 점을 해결하기 위해.
• 특수 작업 아키텍처나 특징 엔지니어링을 사용하는 모델들보다 BERT 피지테이닝이 답변 선택 벤치마크에서 더 우수한 성능을 낼 수 있음을 입증하기 위해.
• 모델 크기(BERT base 대 대규모)와 훈련 에포크 수가 답변 선택 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 모델는 각 훈련 인스턴스가 질문과 하나의 양성 답변 및 하나의 음성 답변으로 구성되는 쌍별 훈련 방식을 사용한다.
• 입력 시퀀스는 [CLS] 질문 [SEP] 답변 [SEP] 형태로 구성되며, BERT는 각 쌍을 인코딩하여 [CLS] 토큰 임베딩을 생성한다.
• 완전 연결층과 시그모이드 활성화 함수를 거쳐 각 쌍에 대한 최종 관련성 점수가 생성된다.
• 양성 및 음성 예측의 음의 로그우도와 마진 기반 허지 손실을 결합하여 랭킹 제약 조건을 강제한다.
• 결합된 손실은 다음과 같이 정의된다: λ₁(logŷθ(q,p) + log(1−ŷθ(q,n))) + λ₂max{0, m − ŷθ(q,p) + ŷθ(q,n)}이며, λ₁=λ₂=0.5이다.
• 모델는 Adam 최적화와 조기 정지 기법을 사용하여 레이블이 부여된 답변 선택 데이터셋에서 엔드 투 엔드로 피지테이닝된다.

실험 결과

연구 질문

• RQ1 대규모 텍스트에서 사전 훈련된 BERT가 특수 작업 아키텍처 설계 없이도 답변 선택 작업에 효과적으로 일반화될 수 있는가?
• RQ2 손수 설계된 특징이나 얕은 임베딩에 의존하는 이전 최신 기술 모델들과 비교해 BERT 기반 피지테이닝은 어떻게 성능을 냈는가?
• RQ3 모델 크기(BERT base 대 대규모)와 훈련 기간(에포크 수)이 답변 선택 성능에 어떤 영향을 미치는가?
• RQ4 교차 엔트로피 손실과 허지 손실을 조합한 하이브리드 손실이 답변 선택의 랭킹 성능 향상에 기여하는가?

주요 결과

• BERTSel은 TrecQA, WikiQA, YahooQA, SemEvalcQA-16, SemEvalcQA-17의 다섯 가지 표준 답변 선택 벤치마크에서 최신 기술 성능을 달성하였다.
• TrecQA에서 BERT base는 3 에포크 후 MRR=0.927 및 MAP=0.877을 기록하여 이전 최신 기술 성능(MRR=0.865, MAP=0.904)을 초월하였다.
• WikiQA에서 BERT base는 MRR=0.770 및 MAP=0.753을 기록하여 이전 최신 기술 성능(MRR=0.758, MAP=0.746)을 초월하였다.
• YahooQA에서 BERT base는 MRR=0.942 및 MAP=0.942를 기록하여 이전 최신 기술 성능(MRR=0.801, MAP=0.801)을 초월하였다.
• SemEvalcQA-16에서 BERT base는 MRR=0.872 및 MAP=0.810을 기록하여 이전 최신 기술 성능(MRR=0.872, MAP=0.801)을 초월하였다.
• SemEvalcQA-17에서 BERT base는 MRR=0.951 및 MAP=0.909를 기록하여 이전 최신 기술 성능(MRR=0.926, MAP=0.887)을 초월하였다.