[논문 리뷰] Self-Generated In-Context Learning: Leveraging Auto-regressive Language Models as a Demonstration Generator

Hyuhng Joon Kim, Hyunsoo Cho외 4명|arXiv (Cornell University)|2022. 06. 16.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 외부 학습 데이터에 의존하지 않고, 자동회귀 언어 모델을 사용하여 입력 조건에 맞는 고품질의 예시를 생성함으로써, 인-컨텍스트 학습을 위한 자체 생성된 인-컨텍스트 학습(SG-ICL) 방법을 제안한다. SG-ICL는 제로샷 학습을 크게 능가하며, 각 예시당 약 0.6개의 골드 학습 샘플에 해당하는 성능을 보이며, 무작위로 선택된 예시보다 성능 변동성이 낮다.

ABSTRACT

Large-scale pre-trained language models (PLMs) are well-known for being capable of solving a task simply by conditioning a few input-label pairs dubbed demonstrations on a prompt without being explicitly tuned for the desired downstream task. Such a process (i.e., in-context learning), however, naturally leads to high reliance on the demonstrations which are usually selected from external datasets. In this paper, we propose self-generated in-context learning (SG-ICL), which generates demonstrations for in-context learning from PLM itself to minimize the reliance on the external demonstration. We conduct experiments on four different text classification tasks and show SG-ICL significantly outperforms zero-shot learning and is generally worth approximately 0.6 gold training samples. Moreover, our generated demonstrations show more consistent performance with low variance compared to randomly selected demonstrations from the training dataset.

연구 동기 및 목표

• 인-컨텍스트 학습에 대한 외부 학습 데이터 의존도를 줄이기 위해 내부에서 예시를 생성하는 것.
• 자동회귀 언어 모델이 향상된 소수 샘플 성능을 위해 높은 상관관계를 가지며 작업에 관련된 예시를 생성할 수 있는지 조사하는 것.
• 무작위로 선택된 실제 예시와 비교하여 자체 생성된 예시의 안정성과 효과성을 평가하는 것.
• 실제 학습 샘플과 비교하여 자체 생성된 인-컨텍스트 샘플의 성능 등가성을 정량화하는 것.

제안 방법

• SG-ICL는 자체 생성 및 추론의 두 단계 과정을 사용하며, 입력과 클래스 레이블을 조건으로 삼는 프롬프트 템플릿을 사용해 예시를 생성한다.
• 자체 생성 단계에서 사전 훈련된 언어 모델은 수동으로 설계된 프롬프트 템플릿을 사용해 각 클래스에 대해 입력 조건에 맞는 예시를 생성한다.
• 생성된 예시는 이후 인퍼런스 단계에서 인-컨텍스트 학습에 재사용되어 외부 학습 데이터가 필요 없도록 한다.
• 이 방법은 대규모 언어 모델의 생성 능력을 활용하여 의미적으로 관련성이 높고 작업에 특화된 예시를 생성함으로써 최종 성능을 향상시킨다.
• 표준 NLU 벤치마크를 사용해 성능을 평가하며, 입력과 생성된 예시 간의 상관관계를 측정하기 위해 코사인 유사도를 사용한다.
• 이 접근법은 사전 분류, 감성 분류(SST-2, SST-5) 및 자연어 추론(MNLI, RTE)을 포함한 네 가지 텍스트 분류 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 외부 학습 데이터에 의존하지 않고 내부에서 예시를 생성함으로써 인-컨텍스트 학습을 수행할 수 있는가?
• RQ2 생성 과정을 입력 인스턴스에 조건화함으로써 생성된 예시의 품질과 상관관계는 어떻게 영향을 받는가?
• RQ3 자체 생성된 예시의 성능는 훈련 세트에서 무작위로 선택된 실제 예시와 비교해 어떻게 되는가?
• RQ4 성능 향상 측면에서 하나의 자체 생성된 인-컨텍스트 샘플은 몇 개의 실제 학습 샘플에 해당하는가?

주요 결과

• SG-ICL는 평가된 네 가지 텍스트 분류 작업 전반에서 제로샷 학습을 크게 능가한다.
• SG-ICL는 성능 변동성이 낮으며, 안정성 측면에서 무작위로 선택된 실제 예시를 초월한다.
• 입력과 클래스 레이블 모두에 조건화한 경우, 클래스 레이블만에 조건화한 경우보다 입력과의 코사인 유사도가 3~4배 높다.
• 한 개의 자체 생성된 인-컨텍스트 샘플은 성능 향상 측면에서 약 0.6개의 골드 학습 샘플에 해당한다.
• 8개의 자체 생성 샘플을 사용한 SG-ICL는 SST-2와 SST-5에서 최대 5개의 실제 학습 샘플을 사용한 소수 샘플 학습보다 성능이 뛰어나다.
• SG-ICL는 추론 중 어떤 학습 데이터에도 접근하지 않으면서도 일관된 성능 향상을 달성한다.