[논문 리뷰] Let's Do a Thought Experiment: Using Counterfactuals to Improve Moral Reasoning

Xiao Ma, Swaroop Mishra외 3명|arXiv (Cornell University)|2023. 06. 25.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 언어 모델의 도덕적 추론 능력을 향상시키기 위해 반사적 추론을 활용하는 새로운 프레임워크인 사고 실험 프롬프팅을 소개한다. 각 시나리오에 대해 답변하기 전에 다수의 도덕적 가정 외부 조건(Counterfactual)을 생성하도록 모델을 지시함으로써, 이 방법은 제로샷 기반보다 MMLU 도덕적 시나리오 과제에서 정확도를 9–16% 향상시켰으며, 소수의 예시(5개)를 사용한 프롬프팅 미세조정을 통해 최대 80%의 정확도를 달성했다.

ABSTRACT

Language models still struggle on moral reasoning, despite their impressive performance in many other tasks. In particular, the Moral Scenarios task in MMLU (Multi-task Language Understanding) is among the worst performing tasks for many language models, including GPT-3. In this work, we propose a new prompting framework, Thought Experiments, to teach language models to do better moral reasoning using counterfactuals. Experiment results show that our framework elicits counterfactual questions and answers from the model, which in turn helps improve the accuracy on Moral Scenarios task by 9-16% compared to other zero-shot baselines. Interestingly, unlike math reasoning tasks, zero-shot Chain-of-Thought (CoT) reasoning doesn't work out of the box, and even reduces accuracy by around 4% compared to direct zero-shot. We further observed that with minimal human supervision in the form of 5 few-shot examples, the accuracy of the task can be improved to as much as 80%.

연구 동기 및 목표

• 언어 모델이 도덕적 추론 과제에서 지속적으로 실패하는 문제를 해결하기 위해, 특히 MMLU 도덕적 시나리오 벤치마크에서의 실패를 다루기 위해.
• 사람의 사고 실험에서 영감을 얻은 반사적 사고가 표준 연속적 사고 프롬프팅을 초월해 모델의 추론 능력을 향상시킬 수 있는지 조사하기 위해.
• 다양한 추론 경로를 유도하기 위해 도덕적 가정 외부 조건을 활용하는 프롬프팅 프레임워크를 개발하여, 모델의 도덕적 기준과 인간의 도덕 기준 간의 일치를 향상시키기 위해.
• 사고 실험 프롬프팅 방법의 제로샷 및 소수 예시 변형이 도덕적 추론 과제에서 얼마나 효과적인지 평가하기 위해.
• 표준 제로샷 연속적 사고 프롬프팅이 수학 추론과는 달리 도덕적 추론에서는 실패하는 이유를 탐구하고, 더 효과적인 대안을 제안하기 위해.

제안 방법

• 사고 실험 프롬프팅 프레임워크는 각 시나리오에 대해 답변하기 전에 다수의 구체적인 도덕적 가정 외부 조건 질문을 생성하도록 언어 모델을 지시한다.
• 각 시나리오에 대해 의도, 동의, 결과 등의 변화를 고려한 '만약~한다면' 형태의 변형을 탐색하여 도덕적 함의를 분석한다.
• 모델이 다양한 결과, 허용 여부, 정당화 가능성을 고려하도록 유도함으로써 다원적 추론 경로를 강조한다.
• 이 프레임워크는 제로샷 및 소수 예시 설정 모두에 적용되며, 소수 예시 변형에서는 최소한의 인간 감독을 사용한다.
• 가정 외부 조건을 통해 행동이 다양한 가정적 조건 하에서도 도덕적으로 허용 가능한지 분석함으로써 도덕적 허용 여부를 평가한다.
• 최종 답변는 다수의 도덕적 가정 외부 조건을 종합적으로 탐색한 후 도출되며, 도덕적 갈등과 정당화를 식별하는 데 중점을 둔다.

실험 결과

연구 질문

• RQ1 사고 실험을 통한 반사적 사고가 언어 모델의 도덕적 추론 과제 성능을 향상시킬 수 있는가?
• RQ2 표준 제로샷 연속적 사고 프롬프팅이 수학 추론과는 달리 도덕적 추론에서는 실패하는 이유는 무엇인가?
• RQ3 사고 실험 프롬프팅은 MMLU 도덕적 시나리오 벤치마크에서 다른 제로샷 및 소수 예시 기반 기준보다 얼마나 효과적인가?
• RQ4 최소한의 인간 감독(예: 5개의 소수 예시)을 통해 이 프레임워크로 도덕적 추론 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 다양한 가정적 시나리오를 탐색하는 것이 선형적 추론 경로에 비해 더 일관되고 정확한 도덕적 판단을 이끌어내는가?

주요 결과

• 사고 실험 프롬프팅은 다른 제로샷 기반 대비 MMLU 도덕적 시나리오 과제에서 정확도를 9–16% 향상시켰다.
• 제로샷 연속적 사고 프롬프팅은 직접적인 제로샷 프롬프팅에 비해 정확도가 약 4% 감소시켰으며, 이는 도덕적 추론에 있어 그 효능이 떨어짐을 시사한다.
• 단지 5개의 소수 예시만으로도 이 프레임워크는 도덕적 시나리오 과제에서 최대 80%의 정확도를 달성하여 강력한 소수 예시 일반화 능력을 보였다.
• 이 방법은 모델로부터 다양한 가정 외부 조건 질문과 답변을 효과적으로 유도하였으며, 이는 도덕적 판단 정확도 향상에 핵심적인 역할을 하였다.
• 다양한 가정적 시나리오 탐색은 선형적 추론보다 모델이 도덕적 갈등을 더 효과적으로 식별하고 결론을 정당화하는 데 도움이 되었다.
• 결과적으로 도덕적 추론은 순차적 선형적 추론 경로보다는 다원적, 반사적 탐색 방식에서 더 큰 이점을 얻는다.