[논문 리뷰] Despite "super-human" performance, current LLMs are unsuited for decisions about ethics and safety

Joshua Albrecht, Ellie Kitanidis외 1명|arXiv (Cornell University)|2022. 12. 13.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 ETHICS-C-S와 같은 윤리적 추론 벤치마크에서 '초인적' 정확도를 달성함에도 불구하고, 현재의 대규모 언어 모델(Large Language Models, LLMs)이 윤리적이고 안전성에 중대한 영향을 미치는 결정에 근본적으로 부적합하다는 것을 입증한다. 유사성 프롬프팅(SimPrompting)이라는 새로운 프롬프팅 전략을 사용하여 저자들은 94.5%의 정확도를 달성했으며, 이는 인간 성능(93.7% ± 0.6%)을 초월한다. 그러나 LLMs가 진정한 도덕적 추론이 아닌 표면적인 어휘 패턴에 의존하고 있음을 드러내어, 악성 재작성, 반대 스케일링, 비논리적인 정당화조차도 추론을 설명하도록 요청받았을 때도 취약함을 드러낸다.

ABSTRACT

Large language models (LLMs) have exploded in popularity in the past few years and have achieved undeniably impressive results on benchmarks as varied as question answering and text summarization. We provide a simple new prompting strategy that leads to yet another supposedly "super-human" result, this time outperforming humans at common sense ethical reasoning (as measured by accuracy on a subset of the ETHICS dataset). Unfortunately, we find that relying on average performance to judge capabilities can be highly misleading. LLM errors differ systematically from human errors in ways that make it easy to craft adversarial examples, or even perturb existing examples to flip the output label. We also observe signs of inverse scaling with model size on some examples, and show that prompting models to "explain their reasoning" often leads to alarming justifications of unethical actions. Our results highlight how human-like performance does not necessarily imply human-like understanding or reasoning.

연구 동기 및 목표

• 윤리적 추론 벤치마크에서 높은 성능을 내는 LLMs가 진정으로 인간과 유사한 이해를 갖는지 조사하기 위해.
• LLMs가 입력 시나리오의 악성 재작성에 얼마나 견고한지 평가하기 위해.
• 스케일링과 체인 오브 톰(Chain-of-Thought) 프롬프팅이 윤리적 추론 실패를 개선하거나 악화시키는지 조사하기 위해.
• 인간과 LLM의 윤리적 판단 오류 간의 체계적 차이를 폭 드러내기 위해.
• 높은 정확도가 윤리적 맥락에서 신뢰할 수 있거나 안전한 의사결정을 의미하지는 않는다는 것을 입증하기 위해.

제안 방법

• 입력 시나리오와 어휘적 겹침을 기반으로 인라인 예시를 선택하는 유사성 프롬프팅(SimPrompting)을 도입한다.
• GPT-3(2019년 최대 버전 및 현재 버전)를 사용하여 ETHICS-C-S 데이터셋에서 예측을 생성하고, 다양한 모델 간 성능을 비교한다.
• 사람이 이해할 수 있는 방식을 유지하면서도 정답으로 분류된 예시를 잘못된 예측으로 변형시키는 악성 재작성 기법을 적용한다.
• 추론을 설명하도록 요청했을 때 모델의 신뢰도 점수를 평가하고 추론 체인을 분석한다.
• Mechanical Turk를 통해 인간의 판단을 수집하여 인간과 모델의 오류 패턴을 비교한다.
• 오류 유형과 정당화를 분석하여 LLM의 체계적 실패 요인(예: 허구적 사실 생성, 비윤리적 정당화)을 특정한다.

실험 결과

연구 질문

• RQ1 LLMs가 진정한 도덕적 이해 없이도 윤리적 추론 벤치마크에서 '초인적' 성능을 달성할 수 있는가?
• RQ2 입력 시나리오의 악성 재작성이 LLM의 예측에 어떤 영향을 미치며, 인간이 이해할 수 있는지 유지되는가?
• RQ3 모델 크기를 증가시키면 윤리적 추론의 신뢰성이 향상되거나 악화되는가, 특히 극단적인 케이스에서 어떻게 되는가?
• RQ4 체인 오브 톰 프롬프팅이 LLM의 윤리적 추론을 얼마나 향상시키거나 왜곡하는가?
• RQ5 LLMs가 윤리적 판단 과제에서 내는 오류 유형이 인간의 오류 유형과 체계적으로 다를까?

주요 결과

• SimPrompting를 사용하여 GPT-3는 ETHICS-C-S에서 94.5%의 정확도를 기록했으며, 인간 성능(93.7% ± 0.6%)을 초월했다.
• 모델가 정확하게 분류한 시나리오를 재작성하면 빈번히 예측 레이블이 뒤바뀌었지만, 인간은 재작성된 버전을 동일한 것으로 판단했다.
• 일부 예시에서 모델는 역스케일링 현상을 보였으며, 모델 크기가 커질수록 잘못된 답변에 대해 더 확신을 갖게 되었다.
• 체인 오브 톰 프롬프팅은 뚜렷한 잘못된 답변에 대해 설득력 있는 듯 보이지만 사실상 틀리거나 윤리적으로 정당성이 없는 정당화를 자주 생성했다.
• 인간의 오류는 주로 가정의 차이(44.2%) 또는 단순 실수(10.9% 및 7.2%)에서 기인한 반면, LLM의 오류는 개념적 추론이 아닌 어휘 패턴 매칭에서 기인했다.
• 극도의 피해를 수반하는 시나리오, 예를 들어 '내 놀라운 설교로 교회를 불태웠다'는 시나리오조차도 모델이 허구적 사실과 정당화되지 않은 정당화를 생성했다.