[논문 리뷰] Few-Shot Learning with Siamese Networks and Label Tuning

Thomas Müller, Guillermo Pérez-Torró외 1명|arXiv (Cornell University)|2022. 03. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 레이블 튜닝(LT)을 사용해 레이블 임베딩만 미세조정하는 Siamese 네트워크 기반 접근법을 제안한다. 이는 다양한 작업 간에 모델을 공유할 수 있도록 효율적인 배포를 가능하게 하며, 전체 미세조정에 비해 약간 낮은 정확도이지만, 상당히 낮은 추론 비용과 높은 확장성을 확보한다. 특히 큰 레이블 집합에서 뛰어난 성능을 보이며, 추론 속도 면에서 교차 어텐션 모델을 능가하고, 단일 인코더를 사용한 다중 작업 추론을 가능하게 한다.

ABSTRACT

We study the problem of building text classifiers with little or no training data, commonly known as zero and few-shot text classification. In recent years, an approach based on neural textual entailment models has been found to give strong results on a diverse range of tasks. In this work, we show that with proper pre-training, Siamese Networks that embed texts and labels offer a competitive alternative. These models allow for a large reduction in inference cost: constant in the number of labels rather than linear. Furthermore, we introduce label tuning, a simple and computationally efficient approach that allows to adapt the models in a few-shot setup by only changing the label embeddings. While giving lower performance than model fine-tuning, this approach has the architectural advantage that a single encoder can be shared by many different tasks.

연구 동기 및 목표

• 최소한의 레이블 데이터를 가진 저자원 텍스트 분류 문제, 특히 제로샷 및 소수의 예시 학습 설정에서의 과제를 해결하기 위해.
• 소수의 예시 텍스트 분류에서 교차 어텐션 모델에 비해 경쟁력 있는 대안으로 Siamese 네트워크를 탐색하기 위해.
• 레이블 튜닝(LT)을 도입하여 레이블 임베딩만 미세조정함으로써, 다양한 작업 간에 모델 공유를 가능하게 하기 위해.
• 소수의 예시 학습에서 성능과 추론 효율성 간의 상호 교환 관계를 평가하기 위해.
• 다양한 작업, 언어, 레이블 구성에서의 방법의 강인성을 평가하기 위해.

제안 방법

• 모델은 입력 텍스트와 레이블 텍스트를 동일한 벡터 공간에 매핑하기 위해 공유된 트랜스포머 인코더를 사용하는 대칭적인 Siamese 네트워크를 사용한다.
• 입력과 레이블 임베딩 간의 내적을 통해 텍스트 유사도를 계산하며, 이는 추론 시 레이블 임베딩을 사전에 계산할 수 있도록 한다.
• 레이블 튜닝(LT)은 미세조정 중에 레이블 임베딩만 업데이트하고 인코더 가중치는 동결함으로써, 단일 인코더를 사용한 다중 작업 배포를 가능하게 한다.
• 모델은 배치 내에서 올바른 레이블과 다른 레이블들을 음성 예시로 사용하면서, 입력과 그에 해당하는 정답 레이블 간의 유사도 점수를 최적화하기 위해 배치 소프트맥스 손실을 사용한다.
• LT로 인한 성능 손실을 복구하기 위해 지식 증류를 적용하였으며, 학습 세트에서 최대 10,000개의 무라벨 예제를 활용하였다.
• 이 방법은 다양한 언어와 다양한 텍스트 분류 작업(감성, 감정, 리뷰 분류 등)을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 Siamese 네트워크와 레이블 튜닝은 소수의 예시 텍스트 분류에서 교차 어텐션 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 레이블 튜닝은 다양한 분류 작업 간에 단일 인코더를 효율적이고 확장 가능하게 배포하는 데 기여하는가?
• RQ3 레이블 튜닝의 성능는 제한된 학습 예제에서 전체 미세조정과 비교해 어떻게 되는가?
• RQ4 레이블 언어화 패턴(예: 아이덴티티 가설 대비 서술형 프롬프트)이 모델 성능에 어떤 영향을 미치는가?
• RQ5 레이블 집합 크기, 텍스트 길이, 否정 기호 존재 여부에 따라 모델 성능과 추론 속도는 어떻게 변화하는가?

주요 결과

• Siamese 네트워크와 레이블 튜닝은 다양한 작업과 언어에서 제로샷 및 소수의 예시 설정 모두에서 교차 어텐션 모델과 유사한 성능을 달성한다.
• 레이블 튜닝은 레이블 수에 비례해 일정한 시간 내에 추론을 수행할 수 있도록 하여 추론 비용을 일정 수준으로 유지하지만, 교차 어텐션 모델은 레이블 집합 크기에 비례해 선형적으로 증가하므로, 큰 레이블 집합에서는 Siamese 네트워크가 훨씬 빠르다.
• 8개 및 64개의 학습 예제에서 지식 증류를 통해 레이블 튜닝과 전체 미세조정 간의 성능 격차의 대부분을 회복하였으며, 특히 작은 레이블 집합에서 뚜렷한 개선이 있었다.
• 짧은 텍스트(≤44 토큰)에서는 Siamese 네트워크가 교차 어텐션 모델을 능가하지만, 긴 문장(>160 토큰)에서는 교차 어텐션 모델이 더 우수한 성능을 보였다.
• 양 모델 모두 트위터 기반 데이터셋에서 중립 감성 예측에서 어려움을 겪지만, 교차 어텐션 모델은 중립 레이블에서 더 높은 오류율을 보였다.
• 레이블 언어화 방식(예: 아이덴티티 가설)의 선택이 성능에 유의미한 영향을 주지 않아, 단순한 레이블 이름만으로도 충분함을 시사한다.