[논문 리뷰] Adversarial Domain Adaptation for Duplicate Question Detection

Darsh Shah, Tao Leí외 3명|arXiv (Cornell University)|2018. 09. 07.

Topic Modeling참고 문헌 39인용 수 5

한 줄 요약

이 논문은 서로 다른 StackExchange 포럼 간의 중복 질문 탐지에 대해 적대적 도메인 적응(ADA)을 제안한다. 공유된 질문 인코더와 도메인 구분자(도메인 판별기)를 사용하여 특성 공간을 정렬한다. 다양한 도메인 쌍 간 평균 5.6%의 상대적 향상도를 달성하며, 이는 도메인 간 n-gram 유사도와 강하게 상관된다.

ABSTRACT

We address the problem of detecting duplicate questions in forums, which is an important step towards automating the process of answering new questions. As finding and annotating such potential duplicates manually is very tedious and costly, automatic methods based on machine learning are a viable alternative. However, many forums do not have annotated data, i.e., questions labeled by experts as duplicates, and thus a promising solution is to use domain adaptation from another forum that has such annotations. Here we focus on adversarial domain adaptation, deriving important findings about when it performs well and what properties of the domains are important in this regard. Our experiments with StackExchange data show an average improvement of 5.6% over the best baseline across multiple pairs of domains.

연구 동기 및 목표

• 레이블이 부족한 포럼에서 중복 질문 탐지 문제를 해결한다.
• 레이블이 있는 소스 포럼(예: StackOverflow)에서 레이블이 없는 타겟 포럼(예: Apple, Android)으로의 전이 학습을 가능하게 하기 위해 도메인 적응을 통해 구현한다.
• 적대적 도메인 적응이 교차 도메인 중복 질문 탐지에 효과적으로 작용하는 조건과 이유를 탐구한다.
• 학습 중에 볼 수 없었던 타겟 도메인으로의 일반화 능력을 평가하기 위해 피봇 도메인을 사용한다.
• 적응 성공을 예측할 수 있는 도메인의 언어학적 및 통계적 특성을 규명한다.

제안 방법

• 소스 도메인과 타겟 도메인 모두에서 입력 질문을 조밀한 벡터 표현으로 매핑하기 위해 공유된 질문 인코더를 사용한다.
• 중복 질문 레이블에 대한 분류 손실를 최소화하면서 동시에 도메인 구분자를 속임으로써 도메인 예측을 구분할 수 없도록 만드는 방식으로 인코더를 훈련한다.
• 표준 GAN에 비해 훈련 안정성 향상과 AUC 분산 감소를 위해 워샤프스키 GAN 기반의 적대적 손실을 사용한다.
• 두 가지 유사도 함수를 구현한다: 교차 엔트로피 손실를 사용하는 시그모이드 기반 분류기와, 코사인 유사도 기반의 페airwise 허지 손실 함수.
• 잠재 표현의 정렬을 위해 적대적 정규화를 적용하여 도메인 간 이동을 줄인다.
• 분류 손실, 적대적 손실, 유사도 손실의 조합을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 다양한 StackExchange 포럼 간 중복 질문 탐지에 대해 적대적 도메인 적응은 얼마나 효과적인가?
• RQ2 이 작업에서 도메인 적응 성공을 예측할 수 있는 소스 및 타겟 도메인의 특성은 무엇인가?
• RQ3 학습 중에 볼 수 없었던 타겟 도메인으로 일반화할 수 있는가?
• RQ4 직접 전이 방법과 비교해 적대적 적응의 성능은 어떻게 되는가?
• RQ5 도메인 적응의 효과성이 도메인 간 n-gram 유사도와 얼마나 관련이 있는가?

주요 결과

• 적대적 도메인 적응은 StackExchange 가족 내 모든 소스-타겟 도메인 쌍에서 최상의 베이스라인 대비 평균 5.6%의 상대적 향상도를 달성한다.
• AskUbuntu → Android 쌍에서 최대 14%의 향상도를 기록하여 유사한 도메인에서 뛰어난 성능을 보였다.
• 도메인 적응 성능은 n-gram 유사도와 정적 상관관계가 있다: 적응 효과성과의 피어슨 상관계수는 0.57(uni-gram), 0.80(비-그램), 0.94(트리-그램)이다.
• Quora에서 다른 도메인으로의 적응은 직접 전이 대비 거의 향상이 없었으며, 이는 도메인 유사도가 핵심 요소임을 확인한다.
• 피봇 도메인(예: AskUbuntu)을 사용해 적대적 훈련을 수행할 경우, 학습 중에 볼 수 없었던 타겟 도메인(예: Apple, Android)으로도 일반화가 가능하며, 직접 전이 방법보다 성능이 뛰어나다.
• 워샤프스키 GAN 손실은 훨씬 더 안정적인 훈련을 제공하며, 표준 분류 기반 GAN에 비해 AUC 분산을 17배 감소시켰다.