[논문 리뷰] In-Context Impersonation Reveals Large Language Models' Strengths and Biases

Leonard Salewski, Stephan Alaniz외 3명|arXiv (Cornell University)|2023. 05. 24.

Language and cultural evolution인용 수 35

한 줄 요약

논문은 맥락에서 LLMs를 서로 다른 연령, 도메인, 및 인구통계로 '가장인'시키는 것이 작업 성능을 높이고 밴딧, 추론, 및 비전-언어 작업 전반에서 편향을 드러낼 수 있음을 보여준다.

ABSTRACT

In everyday conversations, humans can take on different roles and adapt their vocabulary to their chosen roles. We explore whether LLMs can take on, that is impersonate, different roles when they generate text in-context. We ask LLMs to assume different personas before solving vision and language tasks. We do this by prefixing the prompt with a persona that is associated either with a social identity or domain expertise. In a multi-armed bandit task, we find that LLMs pretending to be children of different ages recover human-like developmental stages of exploration. In a language-based reasoning task, we find that LLMs impersonating domain experts perform better than LLMs impersonating non-domain experts. Finally, we test whether LLMs' impersonations are complementary to visual information when describing different categories. We find that impersonation can improve performance: an LLM prompted to be a bird expert describes birds better than one prompted to be a car expert. However, impersonation can also uncover LLMs' biases: an LLM prompted to be a man describes cars better than one prompted to be a woman. These findings demonstrate that LLMs are capable of taking on diverse roles and that this in-context impersonation can be used to uncover their hidden strengths and biases.

연구 동기 및 목표

• LLMs가 맥락에서 서로 다른 사회적 정체성이나 도메인 전문가를 가장인시킬 수 있는지 조사한다.
• 가장인이 밴딧의 양팔 문제 수행에 미치는 영향을 분석한다.
• MMLU 데이터셋을 이용한 페르소나 기반 가장인에 따른 추론 성능을 평가한다.
• 가장화로 생성된 묘사가 다운스트림 비전-언어 분류에 미치는 영향을 평가한다.
• 다양한 작업에서 성별 및 인종에 따른 가장화가 드러내는 편향을 식별한다.

제안 방법

• «If you were a {persona}» 와 같은 접두사를 사용해 LLMs를 가장인시키도록 유도한다.
• Vicuna-13B를 사용한 제로샷 설정과 추론에는 ChatGPT(gpt-3.5-turbo)를 사용한다.
• 밴딧 태스크: 탐색을 분석하기 위해 베이지안 업데이트와 프로빗 회귀를 사용하는 양팔 밴딧.
• 추론 태스크: MMLU의 객관식 문항을 task, domain, 및 비도메인 전문가 페르소나로 구성한다.
• 비전-언어 태스크: 페르소나로부터 클래스 설명을 생성하고, 클래스 이름 대신 생성된 설명을 사용해 CLIP으로 분류한다.
• 연령 기반(2,4,7,13,20) 및 도메인/성별/인종 페르소나에 걸쳐 평가하고, 구현의 확률적 특성을 위해 실험을 반복한다.

실험 결과

연구 질문

• RQ1 다른 연령을 모사하여 밴딧 태스크에서 인간과 유사한 탐색 전략을 LLM이 재현할 수 있는가?
• RQ2 도메인 전문가 가상화가 비도메인 또는 중립 페르소나에 비해 MMLU의 추론 성능을 향상시키는가?
• RQ3 가장화로 생성된 설명이 CLIP을 통한 미세한 시각 분류를 향상시키며, 성별 또는 인종 간에 어떤 편향이 나타나는가?
• RQ4 프롬프트에 포함된 연령, 전문성, 민족성, 성별이 여러 작업에서 LLM의 편향을 어느 정도 드러내는가?

주요 결과

• 더 나이 든 가장인 연령이 밴딧 태스크에서 더 높은 보상을 얻고 더 많은 탐욕적 탐색을 보이며, 이는 인간의 발달 패턴을 반영한다.
• 태스크-전문가 가장화가 도메인 또는 비도메인 가장화보다 MMLU 정확도를 더 향상시킨다.
• 가장화로 생성된 설명이 새와 자동차에 대한 CLIP 기반의 미세한 분류를 개선하며, 연령이 높아질수록 성능이 증가한다.
• 성별 및 인종 프롬프트는 편향을 드러낸다: 예를 들어 남성이 자동차를 더 잘 묘사하고 여성이 새를 더 잘 묘사하는 경향이 있으며, 인종 효과도 뚜렷하다.
• 두 가지 LLM(Vicuna-13B 및 ChatGPT)과 여러 비전-언어 백본에서도 결과가 일치하여, 가장인 효과의 강건성을 시사한다.