[논문 리뷰] ProtAugment: Unsupervised diverse short-texts paraphrasing for intent detection meta-learning

Thomas Dopierre, Christophe Gravier외 1명|arXiv (Cornell University)|2021. 05. 27.

Topic Modeling참고 문헌 38인용 수 8

한 줄 요약

ProtAugment는 비지도 학습 및 메타학습 프레임워크를 통해 다양한 비지도 복구 문장 생성을 통해 프로토타입 네트워크를 향상시켜 소수의 샘플로도 의도 탐지 성능을 향상시키는 방법을 제안한다. 비라벨 데이터에 대해 미세조정된 노이즈 제거 오토인코더에 제약 조건이 있는 다양한 빔 서치를 적용함으로써 과적합을 줄이는 일관성 손실을 도입하며, 추가 레이블링이나 도메인 특화 미세조정 없이도 최신 기술 수준의 성능을 달성하여 1-shot 설정에서 이전 방법들보다 최대 5.27점 향상된다.

ABSTRACT

Recent research considers few-shot intent detection as a meta-learning problem: the model is learning to learn from a consecutive set of small tasks named episodes. In this work, we propose ProtAugment, a meta-learning algorithm for short texts classification (the intent detection task). ProtAugment is a novel extension of Prototypical Networks, that limits overfitting on the bias introduced by the few-shots classification objective at each episode. It relies on diverse paraphrasing: a conditional language model is first fine-tuned for paraphrasing, and diversity is later introduced at the decoding stage at each meta-learning episode. The diverse paraphrasing is unsupervised as it is applied to unlabelled data, and then fueled to the Prototypical Network training objective as a consistency loss. ProtAugment is the state-of-the-art method for intent detection meta-learning, at no extra labeling efforts and without the need to fine-tune a conditional language model on a given application domain.

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 저자원, 도메인 특화 대화형 에이전트에서 소수의 샘플로도 의도 탐지 문제를 해결한다.
• 짧은 텍스트 분류에서 소수의 샘플 분포가 편향되어 발생하는 메타학습의 과적합 문제를 완화한다.
• 다양한 복구 문장 생성을 통한 비지도 데이터 증강을 통해 프로토타입 네트워크의 표현력 강화를 도모한다.
• 각 응용 도메인에 대해 언어 모델을 미세조정하지 않고도 확장 가능한, 도메인에 관계없는 방법을 개발한다.
• 추가적인 레이블링 노력 없이도 소수의 샘플로도 최신 기술 수준의 성능을 달성한다.

제안 방법

• 비라벨 단문 텍스트에서 복구 문장 생성을 위해 시퀀스-투-시퀀스 작업으로 사전학습된 노이즈 제거 오토인코더를 미세조정한다.
• 원본 입력과 의미적으로 다를 바 있는 복구 문장을 생성하기 위해 복구 단계에서 제약 조건이 있는 다양한 빔 서치를 적용한다.
• 프로토타입 네트워크 프레임워크 내에서 원본 입력과 복구 문장 입력 간의 모델 불변성을 강제함으로써 일관성 손실을 도입한다.
• 입력 문장의 토큰을 재사용을 방지하기 위해 복구 단계에서 마스킹 전략을 적용하여 더 높은 다양성을 확보한다.
• 메타학습 분류 손실과 비지도 복구 문장 일관성 손실을 조합하여 종합적인 손실을 사용해 모델을 엔드 투 엔드로 학습시킨다.
• 도메인 특화 적응 없이도 여러 데이터셋에 대해 제로샷 방식으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 저자원 환경에서 비지도 다각도 복구 문장 생성이 소수의 샘플로도 의도 탐지 성능을 향상시킬 수 있는가?
• RQ2 제약 조건이 있는 복구를 통해 복구 문장 생성의 다양성을 도입하면 표준 빔 서치보다 모델 일반화 성능이 향상되는가?
• RQ3 한 개의 사전학습된 언어 모델을 각 응용 도메인에 대해 미세조정 없이도 효과적으로 사용할 수 있는가?
• RQ4 복구 문장 생성을 통한 비지도 데이터 증강이 짧은 텍스트 분류의 메타학습에서 과적합을 어느 정도 줄일 수 있는가?
• RQ5 레이블 데이터가 극히 제한된 상황에서 ProtAugment는 지도 학습 기반 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 1-shot 설정에서 ProtAugment는 네 개의 공개 데이터셋 평균적으로 프로토타입 네트워크보다 5.27점 향상되었으며, 추가적인 레이블링 비용이 없었다.
• 5-shot 설정에서는 기준 모델 대비 평균 2.85점 향상되었다.
• 클래스당 레이블이 10개뿐인 저프로파일 조건에서도, 전체 학습 세트를 사용하는 완전한 프로파일을 가진 완전 지도 학습 기반 모델을 초월했다.
• 모델은 기존 프로토타입 네트워크보다 더 안정적이며, 런에 따른 표준편차가 유의미하게 낮았다.
• 제약 조건이 있는 다양한 빔 서치에서 유니그램 마스킹 전략이 기존의 다양한 빔 서치 대비 성능을 최대 2점 향상시켰다.
• 모델은 다양한 데이터셋에서 뛰어난 성능을 보였으며, Clinic 데이터셋은 특히 더 쉽게 처리되었고, 데이터 불균형 여부에 관계없이 일관된 성능 향상을 보였다.