[논문 리뷰] Are Language Models Worse than Humans at Following Prompts? It's Complicated

Albert Webson, Alyssa Marie Loo외 2명|arXiv (Cornell University)|2023. 01. 17.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 이전 연구에서 언어 모델(LMs)이 인간처럼 지시를 따르지 못한다는 가정에 도전하며, 동일한 병리적 지시를 사용해 인간의 행동을 실증적으로 테스트한다. 인간은 LMs와 마찬가지로 관련 없는 지시를 忽시하지만, 오해의 소지가 있는 지시는 충실하게 따르며, 이는 인간이 이러한 지시를 비합리적이라고 거부할 것이라는 가정과 정면으로 배치된다. 이는 인간과 모델 간의 행동 차이를 드러내며, 특히 기만 상황에서의 행동에 있어 핵심적인 차이점을 보여준다.

ABSTRACT

Prompts have been the center of progress in advancing language models' zero-shot and few-shot performance. However, recent work finds that models can perform surprisingly well when given intentionally irrelevant or misleading prompts. Such results may be interpreted as evidence that model behavior is not "human like". In this study, we challenge a central assumption in such work: that humans would perform badly when given pathological instructions. We find that humans are able to reliably ignore irrelevant instructions and thus, like models, perform well on the underlying task despite an apparent lack of signal regarding the task they are being asked to do. However, when given deliberately misleading instructions, humans follow the instructions faithfully, whereas models do not. Our findings caution that future research should not idealize human behaviors as a monolith and should not train or evaluate models to mimic assumptions about these behaviors without first validating humans' behaviors empirically.

연구 동기 및 목표

• 이전 연구에서 언어 모델가 인간처럼 지시를 따르지 못한다는 주장에 기반해 인간의 행동이 실제로 그러한 가정과 일치하는지 실증적으로 검증하는 것.
• 언어 모델 행동 평가에서 일반적으로 가정되는 바와 같이 인간이 관련 없는 지시나 오해의 소지가 있는 지시를 일관되게 忽시하는지 조사하는 것.
• 언어 모델 평가의 기준으로 인간과 유사한 지시 따르기 행동이 타당한 기준이 되는가를 도전하는 것.
• 모델 평가 기준으로 인간 행동을 사용하기 전에 그 행동을 실증적으로 검증할 필요성을 부각하는 것.

제안 방법

• Webson & Pavlick (2022)의 실험 설계를 차용하여 동일한 NLI 및 공호성 해결 작업에서 지시형, 오해의 소지가 있는, 관련 없는, null 지시를 사용해 인간의 성능을 테스트한 바.
• 사전 NLP 경험 여부를 고려한 제어 조건을 포함한 제로샷 및 피셔샷 실험을 인간 참가자들과 수행한 바.
• 이전 언어 모델 연구에서 사용된 것과 동일한 지시 유형(지시형, 오해의 소지가 있는, 관련 없는, null)을 사용해 직접 비교 가능하도록 확보한 바.
• 참가자의 사고 과정과 지시의 해석 방식을 이해하기 위해 자유형 응답을 수집한 바.
• 지시 유형 간 성능을 비교하여 인간의 정확도를 동일한 자극에서의 모델 성능과 분석한 바.
• 지시 유형 간 인간 성능의 유의미한 차이가 있는지 평가하기 위해 통계 분석을 적용한 바.

실험 결과

연구 질문

• RQ1 이전 언어 모델 평가에서 가정한 바와 같이 인간은 오해의 소지가 있는 지시를 받을 경우 NLI 작업에서 성능이 떨어지는가?
• RQ2 인간은 언어 모델과 마찬가지로 관련 없는 지시를 일관되게 忽시할 수 있는가?
• RQ3 인간은 언어 모델과 마찬가지로 오해의 소지가 있는 지시를 해석하고 따르는가, 아니면 비합리적이라고 판단해 거부하는가?
• RQ4 NLP 작업에 대한 사전 노출 여부가 인간의 병리적 지시에 대한 성능에 어떤 영향을 미치는가?
• RQ5 인간의 지시 해석이 과제의 본질적 논리보다 표면적 어휘적 단서에 더 부합하는 정도는 어느 정도인가?

주요 결과

• 인간은 관련 없는 지시를 받았을 때도 지시형 지시를 받았을 때와 거의 동일한 성능을 보이며, 이는 관련 없는 내용을 忽시할 수 있음을 시사한다.
• 오해의 소지가 있는 지시를 받았을 경우 인간의 성능은 유의미하게 떨어지며, 이는 인간이 이러한 지시를 비합리적이라고 판단해 거부할 것이라는 가정과 정면 배치된다.
• 표면 지시가 다른 과제(예: 문법성 검토)를 요구하는 것으로 보일 경우 인간은 오해의 소지가 있는 지시를 충실하게 따르며, 실제 과제는 NLI임에도 불구하고 그러한 지시에 복종한다.
• 오해의 소지가 있는 지시에 대한 성능는 참가자의 표면 과제 해석에 강하게 연관되어 있으며, 본질적인 NLI 논리와는 관련이 없다.
• 사전 NLP 경험 없이도 참가자들은 오해의 소지가 있는 지시에서 성능이 열악하게 나타나, 이 문제의 원인이 도메인 전문 지식이 아니라는 것을 시사한다.
• 자유형 응답 분석 결과, 많은 참가자들이 오해의 소지가 있는 지시를 다른 과제(예: 문법성 평가 또는 어색한 문장 재작성)를 요구하는 것으로 오해하여 실제 NLI 과제에 대해 잘못된 답변을 제출한 것으로 나타났다.