[논문 리뷰] Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection

Alexandre Rochette, Yadollah Yaghoobzadeh외 1명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 12인용 수 9

한 줄 요약

이 논문은 BERT에 대한 두 단계의 비지도 도메인 적응 방법을 제안하여 StackExchange 포럼에서 자원이 부족한 중복 질문 탐지(DQD) 성능을 향상시킨다. 먼저, 레이블이 없는 포럼 데이터를 사용하여 자기지도 학습 방식으로 BERT를 타겟 도메인에 적응시킨다; 그 후, 제한된 레이블이 있는 DQD 데이터로 미세조정한다. 이 방법은 특히 레이블 데이터가 극히 적을 경우 성능을 크게 향상시키며, 표준 BERT 및 기준 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Answering questions is a primary goal of many conversational systems or search products. While most current systems have focused on answering questions against structured databases or curated knowledge graphs, on-line community forums or frequently asked questions (FAQ) lists offer an alternative source of information for question answering systems. Automatic duplicate question detection (DQD) is the key technology need for question answering systems to utilize existing online forums like StackExchange. Existing annotations of duplicate questions in such forums are community-driven, making them sparse or even completely missing for many domains. Therefore, it is important to transfer knowledge from related domains and tasks. Recently, contextual embedding models such as BERT have been outperforming many baselines by transferring self-supervised information to downstream tasks. In this paper, we apply BERT to DQD and advance it by unsupervised adaptation to StackExchange domains using self-supervised learning. We show the effectiveness of this adaptation for low-resource settings, where little or no training data is available from the target domain. Our analysis reveals that unsupervised BERT domain adaptation on even small amounts of data boosts the performance of BERT.

연구 동기 및 목표

• 커뮤니티 포럼(예: StackExchange)에서 레이블 데이터가 희박하거나 존재하지 않는 상황에서 자원이 부족한 중복 질문 탐지(DQD) 문제를 해결하기 위해.
• 레이블이 없는 포럼 데이터를 사용하여 도메인 특화된 언어 패턴에 맞게 BERT의 일반화 능력을 향상시키기 위해.
• 소량의 타겟 도메인 데이터에 대해 비지도 도메인 적응을 적용할 경우 DQD 성능 향상 여부를 조사하기 위해.
• 동일 도메인 및 이질적 도메인(예: Quora, Academia)을 포함한 내부 및 외부 도메인 설정에서 도메인 적응의 효과를 평가하기 위해.
• 레이블링 함수의 차이(예: Quora vs. SE)가 도메인 적응 및 모델 일반화에 미치는 영향을 이해하기 위해.

제안 방법

• 다음 작업 미세조정 전에, 타겟 StackExchange 도메인의 레이블이 없는 데이터를 사용하여 마스킹 언어 모델링 및 다음 문장 예측이라는 자기지도 목적함수를 통해 BERT를 미세조정한다.
• 두 단계 프로세스를 적용한다: (1) 타겟 도메인 텍스트에서 비지도 도메인 적응, (2) 레이블이 있는 DQD 쌍에 대한 지도 미세조정.
• StackExchange의 도메인 특화 레이블이 없는 데이터를 사용하여 BERT를 적응시키며, 심지어 수백~수천 개 문장의 소량 데이터로도 가능하다.
• 다른 레이블링 함수(예: Quora)를 가진 소스 도메인에서 전이할 경우, 고정된 vs. 미세조정된 BERT 파라미터의 성능을 비교한다.
• 도메인 적응 후에 레이블이 있는 질문 쌍에 대해 교차 엔트로피 손실을 사용하여 DQD 모델을 훈련시킨다.
• 다섯 개인 StackExchange 도메인과 두 개의 외부 데이터셋(Quora, Academia)에서 평가하며, F1 및 AUC 지표를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 소량의 레이블이 없는 포럼 데이터에서 BERT의 비지도 도메인 적응이 자원이 부족한 환경에서 DQD 성능 향상에 기여하는가?
• RQ2 레이블링 함수가 다른 소스 도메인(예: Quora)에서 타겟 도메인(예: AskUbuntu)으로 전이할 경우, BERT의 비지도 적응이 DQD 성능에 어떤 영향을 미치는가?
• RQ3 다양한 StackExchange 도메인을 대상으로 한 도메인 적응이 새로운 타겟 도메인으로의 일반화 능력을 향상시키는가?
• RQ4 적응 후 BERT 파라미터를 미세조정하는 것이 항상 고정하는 것보다 나은가, 특히 소스 도메인과 타겟 도메인이 레이블링 전략에서 다를 경우?
• RQ5 비지도 도메인 적응을 거친 BERT의 성능가 표준 BERT 및 이전의 LSTM 기반 기준 모델과 비교해 볼 때, 자원이 부족한 DQD 환경에서 어떤가?

주요 결과

• 소량의 레이블이 없는 타겟 도메인 데이터(예: 수천 개 문장)에 대해 BERT의 비지도 도메인 적응을 수행해도 자원이 부족한 환경에서 DQD 성능이 크게 향상된다.
• 적응된 BERT를 레이블이 있는 DQD 데이터로 미세조정하면 표준 BERT를 사용할 경우보다 훨씬 우수한 성능을 내며, 자원이 부족한 도메인에서는 표준 BERT가 성능이 떨어진다.
• Quora(고어휘 일치 음성 쌍 사용)에서 AskUbuntu로 전이할 경우, 적응 후 BERT 파라미터를 고정하는 것이 미세조정하는 것보다 성능이 뛰어나며, 이는 레이블링 함수의 차이로 인한 분포 불일치를 시사한다.
• 다양한 StackExchange 도메인에 걸쳐 BERT를 적응시키면 여러 타겟 도메인에서 성능 향상이 이루어지며, 이는 넓은 도메인 일반화 능력을 시사한다.
• 비컴퓨터 과학 도메인인 Academia에서 BERT를 적응시키는 성능은 주제적으로 유사한 SuperUser 도메인과 비교해 다소 낮지만(F1: 0.854 vs. 0.870) 유사한 레이블링 함수를 가진 경우에 강건함을 보이며, 주제적 차이에 대해서도 잘 견뎌낸다.
• 비지도 도메인 적응 후 지도 미세조정을 거치는 조합은 대규모 레이블이 있는 DQD 데이터셋이 필요로 하는 양을 줄이며, 자원이 부족한 응용 분야에서 매우 효과적인 방법임을 입증한다.