[논문 리뷰] Semi-Supervised QA with Generative Domain-Adaptive Nets

Zhilin Yang, Junjie Hu외 2명|arXiv (Cornell University)|2017. 02. 07.

Topic Modeling참고 문헌 37인용 수 29

한 줄 요약

이 논문은 생성적 도메인 적응 네트워크(GDANs)를 제안하며, 비지도 학습 텍스트를 활용해 합성된 질문-답변 쌍을 생성하고 이를 인간 레이블 데이터와 결합함으로써, 반지도 학습 질문-답변 프레임워크를 제공한다. 도메인 태그와 강화 학습을 통해 생성된 데이터의 분포를 실제 인간 데이터와 일치시키는 도메인 적응 기법을 사용하여, SQuAD에서 레이블이 8,000개 뿐인 경우에도 지도 학습 대비 F1 점수 9.87점 향상 달성.

ABSTRACT

We study the problem of semi-supervised question answering----utilizing unlabeled text to boost the performance of question answering models. We propose a novel training framework, the Generative Domain-Adaptive Nets. In this framework, we train a generative model to generate questions based on the unlabeled text, and combine model-generated questions with human-generated questions for training question answering models. We develop novel domain adaptation algorithms, based on reinforcement learning, to alleviate the discrepancy between the model-generated data distribution and the human-generated data distribution. Experiments show that our proposed framework obtains substantial improvement from unlabeled text.

연구 동기 및 목표

• 실세계 응용에서 레이블이 부족한 질문-답변 데이터 문제를 해결하기 위해.
• 레이블이 부족한 상황에서 비지도 텍스트가 질문-답변 모델 성능 향상에 효과적으로 기여할 수 있는지 탐색하기 위해.
• 모델이 생성한 데이터와 인간이 생성한 데이터 간의 분포 격차를 해소하는 프레임워크를 개발하기 위해.
• 생성적 데이터 증강을 통한 반지도 학습을 통해 추출형 QA 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 도메인 적응 기법을 질문-답변 맥락에 적용한 생성 모델 출력에 대한 효과를 입증하기 위해.

제안 방법

• 언어적 태그를 사용해 비지도 텍스트에서 답변 스파이크를 추출하고, 이를 기반으로 질문을 생성하는 생성 모델을 훈련한다.
• 분류 모델 훈련 중 인간 생성 및 모델 생성 QA 쌍을 구분하기 위해 도메인 태그를 도입한다.
• 도메인 태그를 조건으로 하여 도메인 불변 및 도메인 특화 표현을 학습하는 분류형 QA 모델을 구성한다.
• 분류 모델의 손실를 최소화하는 방식으로, 적대적 방법으로 생성 모델을 강화 학습한다.
• 인간 레이블이 부여된 QA 쌍과 생성된 쌍을 결합하여 최종 분류형 QA 모델을 훈련한다.
• 비지도 텍스트와 컨텍스트 전용 감독 학습을 조합하는 단순한 베이스라인 방법을 도입하여 성능 하한선을 확보한다.

실험 결과

연구 질문

• RQ1 레이블이 제한된 상황에서 비지도 텍스트를 효과적으로 활용해 추출형 질문-답변 모델의 성능을 향상시킬 수 있는가?
• RQ2 모델이 생성한 데이터와 인간이 생성한 데이터 간의 분포 격차를 어떻게 완화시켜 최종 성능 향상에 기여할 수 있는가?
• RQ3 특히 도메인 태깅과 적대적 훈련을 포함한 도메인 적응 기법이 반지도 학습 QA에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 GDAN 프레임워크는 GAN 및 듀얼 러닝과 같은 강력한 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ5 생성 데이터와 도메인 적응형 피팅을 조합했을 때, 다양한 레이블링 비율과 비지도 데이터 크기에서 일관된 성능 향상이 이루어지는가?

주요 결과

• SQuAD 데이터셋에서 레이블이 8,000개 뿐일 때 GDAN 프레임워크는 지도 학습 대비 F1 점수 9.87점 향상 달성.
• 500만 개의 비지도 예제와 10%의 레이블 데이터를 사용할 경우, GDAN은 지도 학습 대비 F1 점수 11.75점 향상.
• 도메인 태깅과 적대적 훈련을 적용한 모델(Gen + domain + adv)은 SQuAD에서 레이블 데이터 90%와 비지도 예제 500만 개를 사용할 때 F1 점수 0.6670을 기록해 최고 성능 달성.
• 제안된 베이스라인 방법은 컨텍스트 전용 감독 학습을 사용하지만, 여전히 상당한 성능 향상을 기록하여, 전체 생성 모델링 없이도 비지도 텍스트의 가치를 입증한다.
• 도메인 태그와 강화 학습을 통한 도메인 적응은 생성된 데이터와 실제 데이터 간의 성능 격차를 크게 줄이며, 표준 GAN 및 듀얼 러닝 베이스라인을 뛰어넘는 성능을 기록한다.
• 모든 테스트된 레이블링 비율과 비지도 데이터 크기에서 프레임워크는 일관되게 성능 향상을 보이며, 강건성과 확장성 모두 입증.