[논문 리뷰] Question Answering Infused Pre-training of General-Purpose Contextualized Representations

Robin Jia, Michael Lewis외 1명|arXiv (Cornell University)|2021. 06. 15.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 질문-답변 병합 사전 훈련(Question Answering Infused Pre-training, QuIP)을 소개한다. QuIP는 8,000만 개의 합성된 QA 쌍에서 얻은 크로스-엔코더의 예측을 모방하도록 양방향 엔코더 모델을 훈련시켜 일반 목적의 문맥적 표현을 향상시키는 새로운 사전 훈련 목표이다. QuIP는 다양한 NLP 작업에서 zero-shot 및 few-shot 성능을 향상시키며, few-shot NER에서 RoBERTa-large보다 최대 14 F1 포인트, zero-shot 감성 분석에서 5 포인트의 정확도 향상을 기록한다.

ABSTRACT

We propose a pre-training objective based on question answering (QA) for learning general-purpose contextual representations, motivated by the intuition that the representation of a phrase in a passage should encode all questions that the phrase can answer in context. To this end, we train a bi-encoder QA model, which independently encodes passages and questions, to match the predictions of a more accurate cross-encoder model on 80 million synthesized QA pairs. By encoding QA-relevant information, the bi-encoder's token-level representations are useful for non-QA downstream tasks without extensive (or in some cases, any) fine-tuning. We show large improvements over both RoBERTa-large and previous state-of-the-art results on zero-shot and few-shot paraphrase detection on four datasets, few-shot named entity recognition on two datasets, and zero-shot sentiment analysis on three datasets.

연구 동기 및 목표

• 광범용 문맥적 표현의 활용도를 광범위한 미세조정 없이 zero-shot 및 few-shot 학습 환경에서 향상시키기 위해.
• 마스크된 언어 모델링의 한계를 해결하기 위해, 문맥에 기반한 풍부한 표현이 아닌, 즉각적으로 유용한 표현을 최적화하기 위해.
• 질문-답변 쌍으로 훈련하는 것이 다양한 최종 작업에 관련된 의미적 내용을 포함하는 표현을 생성할 수 있는지 탐색하기 위해.
• 더 정확한 크로스-엔코더에서 양방향 엔코더로 지식 정복을 수행할 경우, 강력하고 이식 가능한 표현을 얻을 수 있는지 조사하기 위해.
• QA 기반 프롬프트와 표현이 다양한 NLP 작업에서 few-shot 적응을 위한 통합 인터페이스로 기능할 수 있음을 입증하기 위해.

제안 방법

• 대규모 문장 코퍼스에서 훈련된 질문 생성 모델을 사용해 8,000만 개의 질문-답변 쌍을 합성한다.
• 합성된 QA 쌍에서 높은 정확도의 예측을 생성하기 위해 크로스-엔코더 QA 모델을 훈련시켜 교사 모델로 활용한다.
• 크로스-엔코더의 예측을 모방하도록 지식 정복을 통해 양방향 엔코더 모델을 훈련시킨다. 이 모델은 문단과 질문을 독립적으로 인코딩한다.
• 문단 스냅샷 표현과 그들이 답하는 질문 표현 간의 유사도를 최대화하는 대비 손실을 최적화하여 양방향 엔코더를 최적화한다.
• 프롬프트 기반 미세조정 또는 특징 추출을 통해 양방향 엔코더의 토큰 수준 표현을 최종 작업에 활용한다.
• 감성 분석 및 NER와 같은 최종 작업에 질문 프롬프트를 적용하여, 작업별 미세조정 없이 zero-shot 및 few-shot 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 질문-답변 쌍에서 사전 훈련하면 zero-shot 및 few-shot 환경에서 즉각적으로 유용한 문맥적 표현을 생성할 수 있는가?
• RQ2 크로스-엔코더에서 양방향 엔코더로 지식 정복을 수행하면 최종 작업에 대한 문맥적 표현 품질이 향상되는가?
• RQ3 QA 기반 프롬프트가 few-shot 학습 시나리오에서 최종 모델을 효과적으로 초기화하거나 안내할 수 있는가?
• RQ4 다양한 NLP 작업에서 QuIP는 RoBERTa-large 및 기타 최신 기술과 비교해 zero-shot 및 few-shot 환경에서 어떻게 성능을 내는가?
• RQ5 QuIP 성공에 필수적인 요소는 무엇인가? 실제 질문, 강력한 교사 모델, 양방향 엔코더 아키텍처, 또는 질문 생성 전략인가?

주요 결과

• BERTScore 기반 특징을 사용해 네 개의 데이터셋에서 QuIP는 이전 작업 대비 9 F1 포인트 향상된 few-shot 병행 문장 탐지 성능을 기록한다.
• 질문 임베딩 초기화와 결합한 QuIP는 두 개의 few-shot NER 데이터셋에서 RoBERTa-large보다 14 F1 포인트 높은 성능을 기록한다.
• zero-shot 감성 분석에서 QuIP는 MLM 스타일 프롬프트 대비 질문 프롬프트를 사용해 RoBERTa-large보다 정확도를 5 포인트 향상시킨다.
• 이 방법은 감성 예측에 대해 해석 가능한 근거를 추출할 수 있어, 모델의 투명성 향상이라는 부가적 이점을 제공한다.
• 제거 실험 결과, 실제 질문, 강력한 교사 모델, 양방향 엔코더 아키텍처는 QuIP 성공에 필수적임을 확인한다.
• 질문 생성 디코딩 전략 및 기타 설계 선택 사항은 성능에 질적 영향을 미치지 않아, 이 방법의 강건성과 안정성을 입증한다.