[논문 리뷰] Universal Natural Language Processing with Limited Annotations: Try Few-shot Textual Entailment as a Start

Wenpeng Yin, Nazneen Fatema Rajani외 3명|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 소수의 태스크 특화 예시로 미세조정하는 전처리된 RoBERTa 모델을 기반으로 한 few-shot 텍스트 함의 프레임워크인 UFO-Entail을 제안한다. 이는 개방 도메인 자연어 처리 작업 전반에 걸쳐 일반화할 수 있으며, 외부 도메인 함의 및 질문 응답, 공호성 해소와 같은 후속 작업에서 뛰어난 성능을 기록한다. 일부 경우에서는 최소한의 주석 정보로도 전면 미세조정 기반 베이스라인을 초월하며, 낮은 자원 환경에서의 자연어 처리 작업을 위한 통합 솔루션으로서의 텍스트 함의의 타당성을 입증한다.

ABSTRACT

A standard way to address different NLP problems is by first constructing a problem-specific dataset, then building a model to fit this dataset. To build the ultimate artificial intelligence, we desire a single machine that can handle diverse new problems, for which task-specific annotations are limited. We bring up textual entailment as a unified solver for such NLP problems. However, current research of textual entailment has not spilled much ink on the following questions: (i) How well does a pretrained textual entailment system generalize across domains with only a handful of domain-specific examples? and (ii) When is it worth transforming an NLP task into textual entailment? We argue that the transforming is unnecessary if we can obtain rich annotations for this task. Textual entailment really matters particularly when the target NLP task has insufficient annotations. Universal NLP can be probably achieved through different routines. In this work, we introduce Universal Few-shot textual Entailment (UFO-Entail). We demonstrate that this framework enables a pretrained entailment model to work well on new entailment domains in a few-shot setting, and show its effectiveness as a unified solver for several downstream NLP tasks such as question answering and coreference resolution when the end-task annotations are limited. Code: https://github.com/salesforce/UniversalFewShotNLP

연구 동기 및 목표

• 작업 특화 주석이 부족한 저자원 또는 개방 도메인 환경에서 NLP 모델을 구현하는 데 도전하는 것.
• богат한 주석 정보가 없을 때 텍스트 함의가 다양한 NLP 작업을 위한 통합 프레임워크로 기능할 수 있는지 조사하는 것.
• 소수의 주석 예시만으로도 새로운 도메인과 작업에 잘 일반화되는 few-shot 학습 시스템을 개발하는 것.
• 저자원 환경에서 NLP 작업을 텍스트 함의 문제로 재구성할 경우 성능 향상 여부를 평가하는 것.

제안 방법

• MNLI에서 사전 훈련된 RoBERTa 모델을 기반으로 함의 분류기로 미세조정하는 것.
• 소수의 레이블된 예시만을 사용하여 소스(MNLI) 도메인과 타겟 도메인 간 표현을 정렬하기 위해 교차 작업 최근접 이웃 블록을 도입하는 것.
• 프로토타입 네트워크를 영감으로 삼은 메타학습 기반의 거리 기반 접근 방식을 사용해 소수의 예시로 새로운 작업에 적응하는 것.
• 대규모 일반 함의 데이터셋(MNLI)으로부터 간접적 지도를 활용하여 zero-shot 및 few-shot 일반화 성능을 향상시키는 것.
• 질문 응답 및 공호성 해소와 같은 다양한 NLP 작업을 (전제, 가설) 쌍으로 프레임화하여 텍스트 함의로 변환하는 것.
• 일반 MNLI 데이터와 소수의 태스크 특화 예시의 조합으로 모델을 종합적으로 훈련시켜 도메인 적응을 향상시키는 것.

실험 결과

연구 질문

• RQ1 사전 훈련된 텍스트 함의 모델이 소수의 주석 예시만으로도 새로운 도메인에 얼마나 잘 일반화되는가?
• RQ2 하나의 후속 NLP 작업을 텍스트 함의 문제로 재구성하는 것이 언제 유리한가?
• RQ3 MNLI와 같은 일반 데이터셋에서 훈련된 단일 함의 모델이 소수의 태스크 특화 데이터만으로 다양한 NLP 작업에 효과적으로 적응할 수 있는가?
• RQ4 레이블이 부족한 상황에서 few-shot 텍스트 함의가 태스크 특화 미세조정보다 성능이 뛰어나게 되는가?

주요 결과

• UFO-Entail은 10-shot 예시로 RTE 벤치마크에서 85.28%의 정확도를 기록하며, 타겟 데이터로 미세조정된 전면 베이스라인(85.28% 대 80.00%)을 초월한다.
• GAP 데이터셋에서의 공호성 해소 작업에서 UFO-Entail은 40%의 데이터만으로도 전면 100% 학습 세트 베이스라인과 유사한 성능을 달성하지만, 비-함의 기반 베이스라인은 100% 데이터가 필요로 한다.
• SciTail 벤치마크에서 UFO-Entail은 다른 10-shot 기반 모델보다 약 4% 향상되어 강력한 few-shot 일반화 능력을 입증한다.
• 질문 응답 작업에서 UFO-Entail은 다른 10-shot 방법보다 약 6% 향상되어 다양한 작업에서 일관된 성과 향상을 보인다.
• 학습 데이터가 제한된 경우, 특히 전체 데이터의 30% 미만일 경우, 직접 분류보다 함의 기반 접근 방식이 더 빨리 수렴하고 더 뛰어난 성능을 보인다.
• MNLI에서 훈련하고 태스크당 소수의 예시로 적응시킨 시스템은 외부 도메인 함의 벤치마크와 다양한 NLP 작업에 효과적으로 일반화되며, 이는 통합 솔루션으로서의 역할을 검증한다.