[논문 리뷰] Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

Congzhi Zhang, Linhai Zhang외 3명|arXiv (Cornell University)|2024. 03. 05.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 편향을 모델 파라미터나 로그릿스에 접근하지 않고도 제거하기 위해 전방 조정(front-door adjustment)을 활용하는 새로운 프롬프팅 방법인 Causal Prompting을 제안한다. 체인오브스포트(Chain-of-Thought, CoT) 추론을 중재 변수로 간주함으로써, 군집화와 정규화된 가중 기하 평균(NWGM) 근사법을 통해 입력 프롬프트와 출력 간의 인과적 영향을 추정한다. 이는 개방형 및 비개방형 LLM 모두에서 자연적 및 악성(NLP) 데이터셋에서 최신 기준 수준의 강건성을 달성한다.

ABSTRACT

Despite the notable advancements of existing prompting methods, such as In-Context Learning and Chain-of-Thought for Large Language Models (LLMs), they still face challenges related to various biases. Traditional debiasing methods primarily focus on the model training stage, including approaches based on data augmentation and reweighting, yet they struggle with the complex biases inherent in LLMs. To address such limitations, the causal relationship behind the prompting methods is uncovered using a structural causal model, and a novel causal prompting method based on front-door adjustment is proposed to effectively mitigate LLMs biases. In specific, causal intervention is achieved by designing the prompts without accessing the parameters and logits of LLMs. The chain-of-thought generated by LLM is employed as the mediator variable and the causal effect between input prompts and output answers is calculated through front-door adjustment to mitigate model biases. Moreover, to accurately represent the chain-of-thoughts and estimate the causal effects, contrastive learning is used to fine-tune the encoder of chain-of-thought by aligning its space with that of the LLM. Experimental results show that the proposed causal prompting approach achieves excellent performance across seven natural language processing datasets on both open-source and closed-source LLMs.

연구 동기 및 목표

• LLM에서의 인코어지닝 학습과 체인오브스포트 프롬프팅의 지속적인 편향 문제, 특히 악성 변형에 대한 저항성을 해결하기 위해.
• 모델 파라미터 조정이나 데이터 재가중에 의존하는 전통적 편향 제거 방법의 한계를 극복하기 위해, 이는 프롬프팅 기반 추론에서는 실현 불가능하다.
• 모델 파라미터, 로그릿스, 또는 혼란 변수 값에 접근하지 않고도 순수하게 추론 시간에만 작용하는 편향 제거 방법을 개발하기 위해.
• 체인오브스포트를 중재 변수로 삼아 구조적 인과 모델을 활용함으로써 프롬프팅에서 효과적인 인과적 간섭을 가능하게 하기 위해.
• 인과적 간섭을 통해 분포 내 및 분포 외(악성) 데이터 모두에서 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 이 방법은 입력 프롬프트(X)가 체인오브스포트 추론(R)을 통해 출력(A)에 영향을 주며, 관측되지 않은 혼란 변수(U)가 편향을 유발하는 구조적 인과 모델로 프롬프팅 과정을 모델링한다.
• 혼란 변수를 직접 모델링하지 않고도 X가 A에 미치는 총 인과 효과를 추정하기 위해 전방 조정을 적용하며, 이를 X가 R에 미치는 영향과 R이 A에 미치는 영향으로 분해한다.
• CoT 응답의 확률 P(R|X)는 BERT 기반 인코더를 사용하여 대조 학습(contrastive learning)을 통해 인코더와 LLM 간의 표현 공간을 정렬함으로써 추정한다.
• CoT 응답에 군집 알고리즘을 적용하여 대표적인 추론 경로를 식별함으로써, 로그릿스에 접근하지 않고도 P(R|do(X))를 정확히 추정할 수 있도록 한다.
• R에서 A로의 인과 효과는 정규화된 가중 기하 평균(NWGM) 근사법을 사용하여 추정하며, 이는 데이터 분포를 가장 잘 대표하는 최적의 예시 세트를 선택하는 데 기여한다.
• 최종 예측은 다수의 CoT 응답에 대해 NWGM 근사법에서 유도된 가중치를 활용한 가중 투표 방식으로 생성되며, 이는 강건하고 편향 없는 추론을 보장한다.

실험 결과

연구 질문

• RQ1 모델 파라미터나 로그릿스에 접근하지 않고도 전방 조정을 효과적으로 적용하여 LLM 프롬프팅의 편향을 제거할 수 있는가?
• RQ2 체인오브스포트 추론이 프롬프팅에서 인과적 간섭을 위한 타당한 중재 변수로 기능할 수 있는가?
• RQ3 대조 학습과 군집화를 조합함으로써 프롬프팅 기반 추론에서 인과 효과 추정의 정확도가 얼마나 향상되는가?
• RQ4 제안된 방법이 다양한 LLM 아키텍처와 데이터 분포, 특히 악성 예시에 대해 일반화 가능한가?
• RQ5 개별 구성 요소인 군집화와 대조 학습이 인과적 프롬프팅 프레임워크의 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• Causal Prompting는 LLaMA2-7b와 GPT-3.5 모두에서 ABSA 및 NLI 데이터셋의 원본 및 악성 변형 데이터셋에서 가장 높은 종합 성능를 기록했다.
• 악성 데이터에서 Causal Prompting는 CoT-SC 및 기타 베이스라인보다 유의미하게 뛰어난 성능를 보이며, 분포 이탈에 대한 강건성을 입증했다.
• 분포 내 데이터보다 분포 외(악성) 데이터에서 성능 향상이 더 크게 나타나, 효과적인 편향 완화가 이루어졌음을 시사한다.
• 절단 실험 결과, 대조 학습을 제거하는 것보다 군집화 구성 요소를 제거할 경우 성능 저하가 더 크게 나타나, 정확한 인과 효과 추정에서 군집화의 핵심적 역할을 확인했다.
• LLM과 인코더 간의 표현을 정렬하기 위해 대조 학습을 사용함으로써 더 정확한 표현 학습이 가능해졌으며, 이는 전체 인과 간섭 품질을 향상시켰다.