[논문 리뷰] Towards Understanding In-Context Learning with Contrastive Demonstrations and Saliency Maps

Fuxiao Liu, Paiheng Xu외 3명|arXiv (Cornell University)|2023. 07. 11.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서 인자내 학습(In-Context Learning, ICL)을 대비 실험과 중요도 맵을 사용하여 입력-라벨 쌍의 어떤 부분이 예측을 이끄는지 이해한다. 연구 결과, 라벨 뒤집기가 진정 라벨의 중요도를 감소시키며, 입력 중립화는 라벨 뒤집기만큼 영향을 미치지 않으며, 보완적 설명은 일관되게 성능을 향상시키지 못함을 확인한다. 이는 사전 학습된 지식과 태스크 특화 설계가 ICL 성능에 미치는 영향을 시사한다.

ABSTRACT

We investigate the role of various demonstration components in the in-context learning (ICL) performance of large language models (LLMs). Specifically, we explore the impacts of ground-truth labels, input distribution, and complementary explanations, particularly when these are altered or perturbed. We build on previous work, which offers mixed findings on how these elements influence ICL. To probe these questions, we employ explainable NLP (XNLP) methods and utilize saliency maps of contrastive demonstrations for both qualitative and quantitative analysis. Our findings reveal that flipping ground-truth labels significantly affects the saliency, though it's more noticeable in larger LLMs. Our analysis of the input distribution at a granular level reveals that changing sentiment-indicative terms in a sentiment analysis task to neutral ones does not have as substantial an impact as altering ground-truth labels. Finally, we find that the effectiveness of complementary explanations in boosting ICL performance is task-dependent, with limited benefits seen in sentiment analysis tasks compared to symbolic reasoning tasks. These insights are critical for understanding the functionality of LLMs and guiding the development of effective demonstrations, which is increasingly relevant in light of the growing use of LLMs in applications such as ChatGPT. Our research code is publicly available at https://github.com/paihengxu/XICL.

연구 동기 및 목표

• 다양한 시범 구성 요소의 기여도를 분석하여 대규모 언어 모델(Large Language Models, LLMs)에서 인자내 학습(In-Context Learning, ICL)의 메커니즘을 이해하기 위해 노력한다.
• 라벨 뒤집기, 입력 중립화, 추가 설명을 통한 대비 실험을 통해 모델 예측과 중요도 패턴에 미치는 영향을 조사한다.
• 특히 감성 분류 작업에서 보완적 설명이 ICL 성능을 일관되게 향상시키는지 평가한다.
• 다양한 규모의 모델(예: GPT-2 대비 InstructGPT)이 시범 변형에 반응할 때 중요도 패턴의 차이를 비교한다.
• ChatGPT와 같은 모델의 점점 증가하는 사용를 고려할 때, LLM에 효과적인 시범을 구성하는 데 실질적인 통찰을 제공한다.

제안 방법

• 기본 예시에 대해 진정 라벨를 뒤집고, 입력에서 감성 유도어휘를 중립화하며, 보완적 설명을 추가하여 대비 시범을 구성한다.
• 기울기 기반(통합 기울기, Integrated Gradients) 및 펌터베이션 기반(LIME) 중요도 맵 방법을 사용하여 모델 예측에서 토큰 수준의 중요도를 정량화한다.
• 원본 및 대비 시범의 중요도 맵을 정성적·정량적으로 분석하여 특징 중요도를 비교한다.
• SST-2 데이터셋을 사용하여 감성 분류 작업에서 이전 연구 결과(예: Min 등, 2022; Wei 등, 2023)의 라벨 뒤집기 및 모델 규모 효과를 재현한다.
• 20개의 테스트 예제에 걸쳐 원본 및 변형된 구성 요소 간 평균 중요도 점수의 차이에 대한 통계적 유의성을 평가하기 위해 T-검정을 적용한다.
• 각 예제당 5개의 이웃을 사용하여 로컬이고 인스턴스 수준의 설명을 생성하며, 계산 및 API 제약로 인한 한계를 인정한다.

실험 결과

연구 질문

• RQ1 시범에서 진정 라벨를 뒤집을 경우, LLM 예측에서 라벨 토큰의 중요도는 어떻게 변화하는가?
• RQ2 입력 텍스트에서 감성 유도어휘를 중립화할 경우, 그 기여도는 모델 예측에 얼마나 감소하는가?
• RQ3 시범에 보완적 설명이 포함될 경우, 감성 분류 작업에서 ICL 성능이 일관되게 향상되는가?
• RQ4 동일한 변형 조건에서 더 작은 모델(예: GPT-2)과 더 큰 모델(예: InstructGPT) 간 중요도 패턴은 어떻게 다를까?
• RQ5 시범 구성 요소가 변형되었을 때, 사전 학습된 지식이 예측을 이끄는 데 어떤 역할을 하는가?

주요 결과

• 라벨 뒤집기 이후, 시범 내 진정 라벨의 중요도가 유의미하게 감소하였으며, 20개의 테스트 예제에서 T-검정 결과 p < 0.001로 나타나 모델이 더 이상 뒤집힌 라벨에 의존하지 않음을 시사한다.
• 입력에서 감성 유도어휘를 중립화하면 원본 어휘 대비 평균 중요도 점수가 낮아졌으며, GPT-2의 경우 p < 0.001로 유의미하게 감소하여 모델이 여전히 사전 학습된 지식에 의존함을 시사한다.
• InstructGPT의 경우, 원본 어휘와 중립화된 어휘 간 중요도 차이가 덜 두드러지며(p = 0.17) 이는 LIME에서 발생하는 희소 중요도 맵(많은 수의 0 포함) 때문일 가능성이 높다.
• GPT-2의 경우, 20개 예제 중 16개에서 보완적 설명 토큰의 평균 중요도 점수가 원본 리뷰 토큰과 유사하거나 높았지만, 감성 분류 성능은 향상되지 않았다.
• 설명 토큰의 중요도는 평균적으로 리뷰 토큰의 중요도의 90%에 달하여 주의 메커니즘에서 입력과 동등한 중요도를 가지며, 성능 향상에는 기여하지 않음을 시사한다.
• InstructGPT와 같은 더 큰 모델은 라벨를 뒤집었을 때 이전 지식을 초월하는 능력을 보이며, GPT-2와 같은 더 작은 모델은 그렇지 않다. 이는 이전 연구 결과와 일치한다.