[논문 리뷰] Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations

Xinxi Lyu, Sewon Min외 3명|arXiv (Cornell University)|2022. 12. 19.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

Z-icl는 레이블이 없는 원시 텍스트 코퍼스에서 유사도 기반 검색과 동의어 레이블링을 사용해 가짜 예시를 구성함으로써 제로샷 성능을 향상시키는 제로샷 인-컨텍스트 학습 방법을 제안한다. 이 방법은 구체적인 프롬프트 엔지니어링 없이도 9개의 텍스트 분류 데이터셋에서 소수의 예시가 있는 인-컨텍스트 학습 성능과 비슷한 성능을 달성하며, 이는 이전의 제로샷 기반 방법보다 뚜렷하게 뛰어나다.

ABSTRACT

Although large language models can be prompted for both zero- and few-shot learning, performance drops significantly when no demonstrations are available. In this paper, we introduce Z-ICL, a new zero-shot method that closes the gap by constructing pseudo-demonstrations for a given test input using a raw text corpus. Concretely, pseudo-demonstrations are constructed by (1) finding the nearest neighbors to the test input from the corpus and pairing them with random task labels, and (2) applying a set of techniques to reduce the amount of direct copying the model does from the resulting demonstrations. Evaluation on nine classification datasets shows that Z-ICL outperforms previous zero-shot methods by a significant margin, and is on par with in-context learning with labeled training data in the few-shot setting. Overall, Z-ICL provides a significantly higher estimate of the zero-shot performance levels of a model, and supports future efforts to develop better pseudo-demonstrations that further improve zero-shot results.

연구 동기 및 목표

• 레이블이 없는 데이터를 사용해 의미 있는 가짜 예시를 구성함으로써 대규모 언어 모델의 제로샷 능력이 과소평가되고 있음을 해결하기 위해.
• 소수의 예시가 제공하는 입력 분포와 레이블 공간을 시뮬레이션함으로써 제로샷 성능을 향상시키기 위해.
• 모델이 유사한 예시 입력에 직접 복사하는 경향을 줄이기 위해 새로운 구성 기법을 제안하기 위해.
• 더 나은 설계된 가짜 예시를 통해 제로샷 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 사전 학습된 모델의 인-컨텍스트 학습 잠재력을 최대로 드러내는 고품질 가짜 예시를 구성하는 데 있어 새로운 연구 방향을 열기 위해.

제안 방법

• 의미적 유사도를 기반으로 원시 텍스트 코퍼스에서 k개의 가장 가까운 이웃을 검색하여 가짜 예시의 기초를 마련한다.
• 각 검색된 문장을 작업 레이블의 무작위로 선택된 동의어(예: 'great'과 'good')와 쌍으로 묶어 직접적인 레이블 복사 방지를 도모한다.
• 가장 가까운 문장 자체가 아니라, 이들 이웃의 물리적 이웃(코퍼스 내 인접 문장)을 사용하여 입력 분포의 다양성을 높인다.
• 동의어 레이블링을 적용하여 테스트 입력과 예시 레이블 간의 어휘 유사성을 깨뜨려, 기억 효과를 최소화한다.
• 일관된 예시 구조를 유지하면서 인-컨텍스트 학습 형식에 맞게 입력-레이블 쌍의 시퀀스를 언어 모델에 조건화한다.
• 레이블이 없는 텍스트 코퍼스에만 의존하는 검색 기반 접근 방식을 사용하여, 레이블이 있는 학습 데이터가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 코퍼스에서 가짜 예시를 구성함으로써 대규모 언어 모델의 제로샷 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 입력 분포와 레이블 공간을 모방하는 가짜 예시가 제로샷 성능 향상에 어느 정도 기여하는가?
• RQ3 의미적으로 유사한 예시 입력에 과도하게 의존하는 복사 효과는 제로샷 인-컨텍스트 학습에서 어떻게 완화할 수 있는가?
• RQ4 코퍼스 커버리지가 약간이라도 확장되면 제로샷 일반화 성능에 측정 가능한 향상이 초래되는가?
• RQ5 가짜 예시의 성능 향상 요인은 입력-레이블 쌍의 형식 때문인가, 단지 관련된 맥락이 존재하기 때문인가?

주요 결과

• Z-icl는 9개의 텍스트 분류 데이터셋에서 이전의 제로샷 기반 방법보다 뚜렷이 뛰어난 성능을 보이며, 제로샷 능력 향상의 상당한 기여를 입증한다.
• Z-icl는 실제 k-샷 레이블이 있는 예시를 사용한 인-컨텍스트 학습과 비슷한 성능을 달성하며, 이는 기존에 모델의 제로샷 잠재력이 과소평가되었음을 시사한다.
• 제거 실험 결과, 입력-레이블 쌍 형식과 함께 제안된 두 가지 기법(물리적 이웃 선택 및 동의어 레이블링)이 최고 성능 달성에 필수적임을 확인한다.
• 코퍼스 크기가 감소할수록 성능이 떨어지며, 코퍼스 크기를 원래 크기의 0.03%로 줄였을 때 정확도에 뚜렷한 감소가 발생함으로써, 코퍼스 커버리지와 크기에 민감함을 보여준다.
• IMDB 리뷰의 2%를 추가한 것처럼 추가 도메인을 코퍼스에 포함시킴으로써 이전에 커버되지 않은 데이터셋에서 성능이 일관되게 향상되며, 이는 커버리지가 핵심 요소임을 입증한다.
• 레이블 없이 뿐만 아니라 레이블이 없는 검색된 문장만 조건화하는 'Inputs-only' 변형은 Z-icl에 비해 성능이 뚜렷이 열 劣하므로, 입력-레이블 쌍 형식이 성능 향상에 필수적임을 증명한다.