[논문 리뷰] Self-Adaptive In-Context Learning: An Information Compression Perspective for In-Context Example Selection and Ordering

Zhiyong Wu, Yaoxiang Wang외 2명|arXiv (Cornell University)|2022. 12. 20.

Text and Document Classification Technologies인용 수 14

한 줄 요약

이 논문은 최소 기술 길이(MDL) 원리를 통한 정보 압축 관점에서 인스턴스 수준에서의 예시를 선택하고 순서를 정하는 자기적응형 인-컨텍스트 학습(self-adaptive in-context learning)이라는 새로운 프레임워크를 제안한다. 표준 ICL 대비 40%의 상대적 향상을 달성하며, 여덟 개인 자연어 처리(NLP) 데이터셋에서 강력한 베이스라인을 초월하여 안정성과 성능을 크게 향상시킨다. 미세조정에 가까운 성능을 보여준다.

ABSTRACT

Despite the surprising few-shot performance of in-context learning (ICL), it is still a common practice to randomly sample examples to serve as context. This paper advocates a new principle for ICL: self-adaptive in-context learning. The self-adaption mechanism is introduced to help each sample find an in-context example permutation (i.e., selection and ordering) that can derive the correct prediction, thus maximizing performance. To validate the effectiveness of self-adaptive ICL, we propose a general select-then-rank framework and instantiate it with new selection and ranking algorithms. Upon extensive evaluation on eight different NLP datasets, our self-adaptive ICL method achieves a 40% relative improvement over the common practice setting. Further analysis reveals the enormous potential of self-adaptive ICL that it might be able to close the gap between ICL and finetuning given more advanced algorithms. Our code is released to facilitate future research in this area: https://github.com/Shark-NLP/self-adaptive-ICL

연구 동기 및 목표

• 표준 인-컨텍스트 학습(ICL)이 랜덤 또는 고정된 예시 정렬에 의존함에 따라 발생하는 불안정성과 최적 성능에 이르지 못하는 문제를 해결하기 위해.
• 입력 인스턴스별로 동적으로 예시를 선택하고 순서를 정함으로써 성능을 극대화하는 새로운 패러다임인 자기적응형 ICL을 제안하기 위해.
• 대규모 검증 세트에 크게 의존하고 주로 레이블의 다수 클래스 편향 문제를 겪는 코퍼스 수준의 프롬프트 최적화의 한계를 극복하기 위해.
• 검증 세트가 필요 없이 인스턴스 수준 최적화를 가능하게 하는 일반적인 이중단계 프레임워크(select-then-rank)를 개발하기 위해.
• 자기적응형 ICL이 인-컨텍스트 학습과 미세조정 간의 성능 격차를 크게 줄일 수 있음을 입증하기 위해.

제안 방법

• 일반적인 이중단계 select-then-rank 프레임워크를 제안한다: 첫 번째 단계로 히우리스틱 선택(예: 최근접 이웃)이 후보 예시를 필터링하고, 두 번째 단계로 순위 매기기 알고리즘이 최적의 예시 정렬을 식별한다.
• 순위 매기기의 이론적 기초로 최소 기술 길이(MDL) 원리를 사용한다. 여기서 최적의 예시 정렬은 입력, 예시, 예측의 총 기술 길이를 최소화하는 것이다.
• 검색 공간을 줄이기 위해 초기 예시 선택에 의미적 유사도(예: 문장 임베딩)를 사용한다.
• MDL 기반 점수를 적용하여 선택된 예시의 다양한 순서 조합을 평가하고 순위를 매기며, 정보를 가장 효과적으로 압축하는 순서를 선호한다.
• 예시 정렬의 NP-난해한 조합 문제를 다루기 위해 검색 기반 최적화 전략을 도입하여 효율성과 효과성 간의 트레이드오프를 실현한다.
• 인-컨텍스트 예시의 검색 세트를 사용하고, 검증 세트 없이 다양한 NLP 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 랜덤 또는 고정된 정렬 방식과 비교해 인스턴스 수준의 예시 선택과 순서 정렬이 인-컨텍스트 학습 성능을 크게 향상시킬 수 있는가?
• RQ2 자기적응형 ICL은 다양한 모델과 데이터셋에서 안정성과 일반화 능력 측면에서 코퍼스 수준의 프롬프트 최적화 방법과 비교해 어떻게 성능을 내는가?
• RQ3 자기적응형 ICL은 인-컨텍스트 학습과 미세조정 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 MDL 기반 순위 매기기 메커니즘이 고성능 예시 정렬을 원리적으로 효과적으로 식별할 수 있는가?
• RQ5 이 방법은 검색 세트의 품질과 크기에 얼마나 민감한가? 다양한 프롬프트 템플릿에 대해 일반화 가능한가?

주요 결과

• 자기적응형 ICL은 여덟 개인 다양한 NLP 데이터셋에서 표준 ICL 대비 40%의 상대적 향상을 달성하며, 강력한 베이스라인을 크게 능가한다.
• 모델 크기(350M에서 175B 파rameter)에 관계없이 일관되고 뚜렷한 성능 향상이 나타나며, 복잡한 작업에서 모델 크가 증가할수록 성능이 점차 향상된다.
• 다양한 사전학습된 언어 모델(OPT, LLaMA 등)과 다양한 프롬프트 템플릿에서도 강력한 일반화 능력을 보이며 안정적인 성능을 유지한다.
• 레이블 공간이 크거나 무한한 작업(예: 질의 응답, 다중 선택)에서 성능 향상이 가장 두드러지며, 이는 전통적인 TopK 선택 방식이 실패하는 영역이다.
• 예시 정렬의 중요성이 드러나며, 적절한 순서 없이 예시 수를 늘려도 수익 감소 효과가 나타나므로, 구조적 최적화의 중요성을 강조한다.
• 강력한 성능를 보이지만, 검색 세트가 작을 경우 성능 향상이 감소함을 확인하여, 최적의 결과를 얻기 위해서는 고품질의 후보 예시에 의존하는 경향이 있음을 시사한다.