[논문 리뷰] Post Hoc Explanations of Language Models Can Improve Language Models

Satyapriya, Jiaqi Ma외 4명|arXiv (Cornell University)|2023. 05. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간이 주석을 달지 않은 자연어 추론을 자동으로 생성하는 후행 설명 방법(예: 기울기 기반 기여도)에 의존하는 대신, 대규모 언어 모델(Large Language Models, LLMs)의 성능을 향상시키는 AMPLIFY라는 프레임워크를 소개한다. 더 작은 프록시 모델을 사용해 설명을 계산하고 이를 수정용 프ompt로 삽입함으로써, AMPLIFY는 다양한 추론 및 이해 작업에서 LLM의 성능을 10–25% 향상시킨다. 이는 인간 주석 기반 방법(예: 체인 오브 토우HT prompting)을 능가한다.

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable capabilities in performing complex tasks. Moreover, recent research has shown that incorporating human-annotated rationales (e.g., Chain-of-Thought prompting) during in-context learning can significantly enhance the performance of these models, particularly on tasks that require reasoning capabilities. However, incorporating such rationales poses challenges in terms of scalability as this requires a high degree of human involvement. In this work, we present a novel framework, Amplifying Model Performance by Leveraging In-Context Learning with Post Hoc Explanations (AMPLIFY), which addresses the aforementioned challenges by automating the process of rationale generation. To this end, we leverage post hoc explanation methods which output attribution scores (explanations) capturing the influence of each of the input features on model predictions. More specifically, we construct automated natural language rationales that embed insights from post hoc explanations to provide corrective signals to LLMs. Extensive experimentation with real-world datasets demonstrates that our framework, AMPLIFY, leads to prediction accuracy improvements of about 10-25% over a wide range of tasks, including those where prior approaches which rely on human-annotated rationales such as Chain-of-Thought prompting fall short. Our work makes one of the first attempts at highlighting the potential of post hoc explanations as valuable tools for enhancing the effectiveness of LLMs. Furthermore, we conduct additional empirical analyses and ablation studies to demonstrate the impact of each of the components of AMPLIFY, which, in turn, leads to critical insights for refining in-context learning.

연구 동기 및 목표

• LLM의 인라인 학습에서 인간 주석 기반 추론의 확장성과 높은 비용 문제를 해결하기 위해.
• 후행 설명 방법이 LLM에 대한 효과적인 자동 보정 신호로 기능할 수 있는지 탐색하기 위해.
• 더 작은 프록시 모델의 기여도 점수를 활용해 LLM의 추론 및 예측 정확도를 향상시키는 프레임워크를 개발하기 위해.
• 자동화된 설명 기반 프ompt링이 기존의 인간 주석 기반 프ompt링 기법(예: 체인 오브 토우HT prompting)을 능가할 수 있는지 입증하기 위해.

제안 방법

• LLM 예측에서 잘못 분류된 샘플에 대해 계산적으로 실행 가능한 더 작은 프록시 모델(GPT-2, BERT 등)을 사용해 후행 설명을 계산한다.
• LLM의 잘못된 예측에 대해 프록시 모델이 높은 신뢰도를 가진 경우, 특히 영향력 있는 오류 사례에 집중한다.
• 기울기 기반 설명 방법(예: Gradient × Input 또는 그 대비형)을 적용해 진정한 레이블을 위한 가장 영향력 있는 입력 토큰을 식별한다.
• 상위 영향력 있는 단어들을 프ompt 템플릿에 통합해 자연어 추론을 구성한다: '핵심 단어: 단어1, 단어2, … 및 단어5는 [레이블]을 예측하는 데 중요한 단서입니다.' 를 통해 LLM을 안내한다.
• 추론 중에 결과적인 few-shot 프ompt(입력, 레이블, 추론)를 타겟 LLM에 제공하여 예측 정확도를 향상시킨다.
• GPT-3 및 GPT-3.5 등의 LLM을 사용해 감성 분류, 공통 지식 추론, 인과적 판단 등 다양한 NLP 작업에서 프레임워크의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 후행 설명 방법을 사용해 인간 주석 없이도 효과적인 자동 추론을 생성할 수 있으며, 이로 인해 LLM의 성능 향상이 가능할까?
• RQ2 인간 주석 기반 추론(예: 체인 오브 토우HT 프ompt링)을 사용한 경우와 비교해 자동으로 생성된 추론을 사용한 LLM의 성능는 어떻게 되는가?
• RQ3 설명 방법의 선택(예: Gradient × Input 대비 통합 기울기)이 LLM의 성능 향상에 상당한 영향을 미치는가?
• RQ4 프ompt 템플릿의 변형, 예를 들어 어조나 문장 부호 등에 따라 프레임워크 성능이 얼마나 민감하게 반응하는가?
• RQ5 후행 설명이 LLM이 중요한 입력 신호를 간과한 오류를 복구하는 데 얼마나 기여하는가?

주요 결과

• AMPLIFY는 다양한 작업에서 LLM의 예측 정확도를 10–25% 향상시키며, 기준 프ompt링 기법보다 뚜렷이 뛰어난 성능을 보였다.
• 체인 오브 토우HT 프ompt링이 실패하거나 성능이 열 劣한 작업에서도 일관된 성능 향상이 이루어져, 프레임워크의 강건성을 입증했다.
• Gradient × Input 및 그 대비형이 가장 효과적인 추론을 생성했지만, 다른 설명 방법 간 성능 차이도 안정적이었다.
• 작업 맥락에 맞게 추론 템플릿을 조정하면 명확한 성능 향상이 이루어지며, 예를 들어 인과적 판단 작업에서 '일반적으로 사람들은 이렇게 응답할 것이다' 라는 문장을 추가함으로써 Causal Judgment 데이터셋에서 정확도가 2.6% 향상되었다.
• 정성적 분석을 통해 AMPLIFY가 LLM이 이전에 간과한 중요한 단어들(예: 추론 작업에서 '절대 만지면 안 되는' 등)에 주목하도록 돕는 것으로 확인되었다.
• 프ompt 템플릿의 미세한 변형에 대해 프레임워크 성능이 민감하지 않아, 성능 향상 요인이 주로 설명의 내용에 기인해 있음을 시사한다.