[논문 리뷰] Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation

Jixuan Wang, Kuan-Chieh Wang외 2명|arXiv (Cornell University)|2022. 01. 27.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 기초 모델의 기울기 정보를 사용하여 작업을 표현하는 Grad2Task라는 새로운 소수의 샘플 텍스트 분류 방법을 제안한다. 이는 미세조정된 BERT 기반 분류기의 효율적 적응을 가능하게 한다. 기울기 기반 작업 표현에 기반해 어댑터 모듈을 조건화함으로써, 다양한 소수의 샘플 텍스트 분류 작업에서 최신 기술 수준의 성능을 달성하며, 기존의 미세조정, 순차적 전이 학습, 메타학습 기반 베이스라인들을 능가한다.

ABSTRACT

Large pretrained language models (LMs) like BERT have improved performance in many disparate natural language processing (NLP) tasks. However, fine tuning such models requires a large number of training examples for each target task. Simultaneously, many realistic NLP problems are "few shot", without a sufficiently large training set. In this work, we propose a novel conditional neural process-based approach for few-shot text classification that learns to transfer from other diverse tasks with rich annotation. Our key idea is to represent each task using gradient information from a base model and to train an adaptation network that modulates a text classifier conditioned on the task representation. While previous task-aware few-shot learners represent tasks by input encoding, our novel task representation is more powerful, as the gradient captures input-output relationships of a task. Experimental results show that our approach outperforms traditional fine-tuning, sequential transfer learning, and state-of-the-art meta learning approaches on a collection of diverse few-shot tasks. We further conducted analysis and ablations to justify our design choices.

연구 동기 및 목표

• 클래스당 레이블이 매우 제한된 경우에 발생하는 소수의 샘플 텍스트 분류 문제를 해결하기 위해.
• 입력 인코딩보다 더 표현력 있는 작업 표현으로서 기울기 정보를 활용해 소수의 샘플 학습에서 일반화 성능을 향상시키기 위해.
• 레이블 의미와 구조가 다양한 다양한 소스 작업에서 효과적인 전이를 가능하게 하기 위해.
• 사전 훈련된 BERT 모델 내에서 어댑터 모듈을 사용해 효율적이고 파라미터 효율적인 적응 메커니즘을 개발하기 위해.
• 소수의 샘플 텍스트 분류 베이스라인에서 기존의 미세조정, 순차적 전이 학습, 메타학습 방법들을 능가하기 위해.

제안 방법

• 소수의 샘플 지원 세트에서 모델 파라미터에 대한 손실의 전체 기울기를 사용하여 작업 표현을 구성함으로써, 입력-출력 관계를 캡처한다.
• 조건부 신경 프로세스(CNAP) 프레임워크를 채택하여, 적응 네트워크가 기울기 기반 작업 임베딩에 기반해 어댑터 파라미터를 조절한다.
• 효율성과 파라미터 공유를 유지하기 위해 블로킹 어댑터 모듈을 갖춘 사전 훈련된 BERT를 특징 추출기로 사용한다.
• 레이블는 텍스트 토큰으로 간주되며 BERT를 통해 인코딩되어 입력 및 기울기 특징과 함께 작업 표현의 일부를 형성한다.
• 적응 네트워크는 어댑터 레이어의 스케일링 및 시프팅 파라미터를 생성하여 추론 시 빠르고 작업별 적응을 가능하게 한다.
• 기울기 기반 작업 특징을 적응 네트워크를 조건화하기 위해, 지원 세트에서 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 기울기 기반 소수의 샘플 작업 표현이 입력 기반 작업 표현을 초월해 소수의 샘플 텍스트 분류를 향상시킬 수 있는가?
• RQ2 기울기 정보를 작업 임베딩으로 사용할 경우, 다양한 구조적 차이가 있는 텍스트 분류 작업 간의 일반화 성능이 향상되는가?
• RQ3 기존의 미세조정 및 최신 기술 수준의 메타학습 접근법과 비교했을 때, 제안된 방법은 소수의 샘플 설정에서 어떻게 성능을 내는가?
• RQ4 모두의 토큰을 조절하는 것과 [CLS] 토큰만 조절하는 것과 같은 다양한 설계 선택 사항이 모델 성능에 어떤 영향을 미치는가?
• RQ5 하이퍼네트워크 기반 파라미터 생성 접근법이 이 소수의 샘플 설정에서 제안된 적응 메커니즘을 능가할 수 있는가?

주요 결과

• Grad2Task는 10개의 다양한 소수의 샘플 텍스트 분류 작업에서 평균 정확도 45.83%를 달성하며, 기존의 미세조정 및 순차적 전이 학습을 능가한다.
• 기존의 최신 기술 수준의 메타학습 기반 베이스라인, 특히 CNAP을 크게 능가하며, 다음으로 좋은 베이스라인보다 1.2%p의 절대적 향상률을 기록한다.
• 기울기 기반 작업 표현을 사용할 경우, 입력 인코딩이나 레이블 인코딩만 사용할 경우보다 성능이 뛰어나며, 제거 실험에서 평균 입력 임베딩으로 대체할 경우 1.5%p 감소함을 확인했다.
• [CLS] 토큰의 표현만 조절할 경우 성능이 떨어지며(44.57%), 모든 토큰을 적응시키는 것보다 열등함을 보여, 전체 시퀀스 적응의 중요성을 입증한다.
• 하이퍼네트워크 기반 파라미터 생성 접근법은 44.79%의 정확도를 기록했으며, Grad2Task보다 열등함을 보여, 어댑터 파라미터를 직접 적응시키는 것이 더 효과적이고 과적합에 덜 민감함을 시사한다.
• 작업 임베딩 모델을 사전 훈련한 경우 45.68%의 정확도를 기록했으며, 제안된 방법보다 略적으로 낮아, 이 설정에서는 엔드 투 엔드 훈련이 더 효과적임을 시사한다.