[논문 리뷰] Domain Adaptation for Question Answering via Question Classification

Zhenrui Yue, Huimin Zeng외 3명|arXiv (Cornell University)|2022. 09. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 질문 분류를 활용하여 도메인 간 및 클래스 내 차이를 줄이는 자기지도 학습 도메인 적응 프레임워크인 QC4QA를 제안한다. 가짜 레이블이 부여된 타겟 질문을 사용하여 소스 및 타겟 데이터를 함께 학습하고, MMD를 통해 도메인 이탈을 최소화함으로써, 레이블이 없는 타겟 데이터를 요구하지 않으면서도 여러 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Question answering (QA) has demonstrated impressive progress in answering questions from customized domains. Nevertheless, domain adaptation remains one of the most elusive challenges for QA systems, especially when QA systems are trained in a source domain but deployed in a different target domain. In this work, we investigate the potential benefits of question classification for QA domain adaptation. We propose a novel framework: Question Classification for Question Answering (QC4QA). Specifically, a question classifier is adopted to assign question classes to both the source and target data. Then, we perform joint training in a self-supervised fashion via pseudo-labeling. For optimization, inter-domain discrepancy between the source and target domain is reduced via maximum mean discrepancy (MMD) distance. We additionally minimize intra-class discrepancy among QA samples of the same question class for fine-grained adaptation performance. To the best of our knowledge, this is the first work in QA domain adaptation to leverage question classification with self-supervised adaptation. We demonstrate the effectiveness of the proposed QC4QA with consistent improvements against the state-of-the-art baselines on multiple datasets.

연구 동기 및 목표

• 모델을 새로운 타겟 도메인에 배포할 때 발생하는 도메인 이탈 문제를 해결하기 위해.
• 질문 구문 및 맥락 도메인의 분포 변화로 인한 성능 저하를 줄이기 위해.
• 레이블이 없는 타겟 데이터가 필요 없이 질문 클래스 정보를 활용하는 자기지도 적응 프레임워크를 개발하기 위해.
• QA 표현에서 도메인 간 및 클래스 내 차이를 최소화하여 일반화 성능을 향상시키기 위해.
• 질문 분류와 자기지도 적응을 조합한 제로샷 도메인 적응 환경에서의 효과성을 입증하기 위해.

제안 방법

• 소스 데이터에서 질문 분류기를 학습하여 소스 및 타겟 질문 모두에 질문 클래스를 할당한다.
• 사전 학습된 QA 모델을 사용하여 레이블이 없는 타겟 질문을 가짜 레이블링하여 학습 신호를 생성한다.
• 타겟 질문 분포를 반영하는 미니배치를 구성하기 위해 분포 인식 샘플링 전략을 도입하여 차이 추정을 향상시킨다.
• 최대 평균 차이(MMD)를 사용하여 도메인 정렬을 최적화하여 도메인 간 차이를 최소화한다.
• 동일한 질문 클래스에 속한 샘플 간의 클래스 내 차이를 최소화하여 세밀한 적응을 가능하게 한다.
• 전반적인 목적은 MMD 기반 도메인 정렬과 클래스 내 일관성 정규화를 결합하여 일반화 성능을 향상시키는 것이다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 데이터가 필요 없이 질문 분류가 질문 이해의 도메인 적응에 기여할 수 있는가?
• RQ2 질문 클래스 정보를 통합할 경우 QA 모델에서 도메인 간 및 클래스 내 차이가 어떻게 감소하는가?
• RQ3 자원이 제한된 타겟 도메인에서 분포 인식 샘플링 전략이 적응 성능에 어떤 영향을 미치는가?
• RQ4 가짜 레이블링의 신뢰도 임계값과 MMD 가중치 계수와 같은 하이퍼파rameter 선택에 대해 제안된 프레임워크는 얼마나 견고한가?
• RQ5 질문 분류를 통한 자기지도 적응이 제로샷 QA 도메인 적응 환경에서 기존의 도메인 적대적 및 가짜 레이블링 기반 기준보다 우수한 성능을 낼 수 있는가?

주요 결과

• QC4QA는 CNN, Daily Mail, NewsQA 등 여러 데이터셋에서 최신 기술 수준의 기준 모델을 일관되게 초월하며, EM 및 F1 점수에서 뚜렷한 향상을 보였다.
• CNN 데이터셋에서, 분포 인식 샘플링을 사용할 경우 28.05 EM 및 36.18 F1를 기록했고, 랜덤 샘플링을 사용할 경우 26.69 EM 및 35.24 F1를 기록하여 샘플링 전략의 중요성을 입증했다.
• 가짜 레이블링의 최적 신뢰도 임계값은 0.4에서 0.8 사이에 위치하며, SearchQA와 같이 큰 데이터셋에서는 노이즈가 많은 예측을 걸러내기 위해 높은 임계값이 더 좋은 성능을 낸다.
• MMD 하이퍼파rameter λ는 비단조화적이지만 약 0.01~0.02 범위에서 최고 성능를 보이며, 이는 민감하지만 중간 정도의 변동에는 견고함을 보임을 시사한다.
• 질문 분류에 대해 비지도 클러스터링을 사용하는 경우에도 QC4QA는 뛰어난 성능을 발휘하여 추가 애너테이션 없이도 효과적임을 입증했다.
• 특히 질문 형식이 다른 도메인, 예를 들어 CNN과 Daily Mail와 같이 도메인 이탈이 더 두드러지는 경우에 프레임워크가 특히 효과적이다.