[논문 리뷰] Adversarial Training for Community Question Answer Selection Based on Multi-scale Matching

Yang Xiao, Madian Khabsa외 6명|arXiv (Cornell University)|2018. 04. 22.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 커뮤니티 질문 답변(CQA) 선택을 위한 다중 척도 매칭을 통한 적대적 훈련 프레임워크를 제안하며, 생성 모델을 사용해 어려운 부정 예측을 샘플링하여 레이블 불균형 문제를 해결한다. 생성자와 판별자의 반복적 개선을 통해 분류 성능을 향상시키며, 텍스트적 특성만을 사용하여 SemEval 2017에서 최고 성능을 기록하고 SemEval 2016에서도 뛰어난 성능을 달성한다.

ABSTRACT

Community-based question answering (CQA) websites represent an important source of information. As a result, the problem of matching the most valuable answers to their corresponding questions has become an increasingly popular research topic. We frame this task as a binary (relevant/irrelevant) classification problem, and present an adversarial training framework to alleviate label imbalance issue. We employ a generative model to iteratively sample a subset of challenging negative samples to fool our classification model. Both models are alternatively optimized using REINFORCE algorithm. The proposed method is completely different from previous ones, where negative samples in training set are directly used or uniformly down-sampled. Further, we propose using Multi-scale Matching which explicitly inspects the correlation between words and ngrams of different levels of granularity. We evaluate the proposed method on SemEval 2016 and SemEval 2017 datasets and achieves state-of-the-art or similar performance.

연구 동기 및 목표

• CQA 데이터셋에서 관련 답변이 전체 샘플의 2.8–9.3%에 불과한 심각한 레이블 불균형 문제를 해결하기 위해.
• 균일하거나 무작위 부정 샘플링 대신 적대적으로 생성된 어려운 부정 예측을 사용하여 CQA 분류기의 강건성과 정확도를 향상시키기 위해.
• 단어, n-그램, 계층적 표현 등 다양한 정밀도 수준에서 상관관계를 명시적으로 모델링하여 매칭 능력을 향상시키기 위해.
• 답변 위치나 사용자 활동과 같은 메타정보에 의존하지 않고도 최고 성능을 달성하기 위해.

제안 방법

• 생성 모델 $G$ 는 관련 예측과 의미적으로 유사한 어려운 부정 질문-답변 쌍을 생성하도록 훈련되어, 판별자 훈련 중에 더 강한 기울기 신호를 제공한다.
• 판별자 $D$ 는 예측 신뢰도에 기반한 보상 구조를 사용하여 REINFORCE 알고리즘을 통해 관련 또는 비관련 쌍을 분류하도록 훈련된다.
• 생성자와 판별자가 REINFORCE를 사용해 번갈아가며 최적화되어 생성자가 점차 더 어려운 부정 예측을 생성하도록 학습된다.
• 다중 척도 매칭은 질문과 답변에서 계층적 표현을 추출하기 위해 깊은 CNN을 사용하여 구현되며, 단어 대 단어, 단어 대 n-그램, n-그램 대 n-그램 비교를 가능하게 한다.
• 다양한 정밀도 수준에서의 매칭 점수는 피드포워드 네트워크를 통해 집계되어 최종 관련도 점수를 산출한다.
• RNN이나 어텐션 메커니즘에 의존하지 않고, 효율적인 다중 정밀도 매칭을 위해 CNN 기반의 계층적 특징 추출을 사용한다.

실험 결과

연구 질문

• RQ1 학습된 생성자와 함께 적대적 훈련이 어려운 부정 예측에 집중함으로써 CQA 선택 성능을 향상시킬 수 있는가?
• RQ2 다양한 정밀도 수준에서 단어와 n-그램을 비교하는 다중 척도 매칭은 CQA의 관련도 분류에 어떤 영향을 미치는가?
• RQ3 답변 위치나 사용자 활동과 같은 메타정보를 사용하지 않는 순수 텍스트 기반 모델이 메타정보를 사용하는 방법보다 우수한 성능을 낼 수 있는가?
• RQ4 SemEval 2017처럼 극도로 불균형한 데이터셋에서는 SemEval 2016처럼 더 균형 잡힌 데이터셋보다 적대적 훈련이 더 큰 도움을 주는가?

주요 결과

• 제안된 방법은 SemEval 2017 데이터셋에서 최고의 MAP(53.38)와 MRR(60.64)를 기록하여 모든 제출물 중 1위를 차지했다.
• SemEval 2016 데이터셋에서는 MAP 49.25와 MRR 54.89를 기록하여 2위를 차지했으며, 메타정보를 사용한 방법들을 능가했다.
• 적대적 훈련과 다중 척도 매칭을 조합함으로써 SemEval 2017에서 MAP가 4.29점, MRR가 5.39점 향상되어 성능 향상이 뚜렷했다.
• 생성자는 판별자에게 도전이 되는 의미적으로 타당한 부정 예측을 성공적으로 생성하여 어려운 예제 탐색의 효과성을 입증했다.
• 메타정보 없이도 최고 성능을 달성함으로써, 적대적 훈련을 통한 순수 텍스트 기반 모델링의 효과성을 입증했다.
• 제거 실험 결과, 생성자(G)만으로 적대적 훈련을 수행할 경우 성능이 악화됨(MAP: 36.31)하여 판별자(D)와의 공동 훈련이 반드시 필요하다는 점을 확인했다.