[논문 리뷰] Questioning the Survey Responses of Large Language Models

Ricardo Dominguez-Olmedo, Moritz Hardt외 1명|arXiv (Cornell University)|2023. 06. 13.

Topic Modeling인용 수 18

한 줄 요약

이 논문은 LLM이 American Community Survey 질문에 어떻게 답하는지 조사하고, 강한 순서 편향을 드러내며, 보정된 답변이 거의 균등하게 무작위에 가까운지 보여주고, 모델이 생성한 설문 데이터가 미국 인구조사 데이터와 닮지 않았음을 입증한다. 편향 진단 방법과 합성 데이터와 인구조사 데이터를 비교하는 식별자(discriminator) 테스트를 소개한다.

ABSTRACT

Surveys have recently gained popularity as a tool to study large language models. By comparing survey responses of models to those of human reference populations, researchers aim to infer the demographics, political opinions, or values best represented by current language models. In this work, we critically examine this methodology on the basis of the well-established American Community Survey by the U.S. Census Bureau. Evaluating 43 different language models using de-facto standard prompting methodologies, we establish two dominant patterns. First, models' responses are governed by ordering and labeling biases, for example, towards survey responses labeled with the letter "A". Second, when adjusting for these systematic biases through randomized answer ordering, models across the board trend towards uniformly random survey responses, irrespective of model size or pre-training data. As a result, in contrast to conjectures from prior work, survey-derived alignment measures often permit a simple explanation: models consistently appear to better represent subgroups whose aggregate statistics are closest to uniform for any survey under consideration.

연구 동기 및 목표

• LLMs’의 설문 응답이 ACS 질문을 사용하여 인간 인구 분포를 반영하는지 평가한다.
• LLM 설문 분포를 왜곡하는 요인(순서 및 표기 편향)을 식별한다.
• 지시 미세조정과 RLHF가 LLM 설문 동작에 미치는 영향을 평가한다.
• 순차적으로 생성된 LLM 설문 데이터가 실제 인구조사 데이터와 닮았는지 테스트한다.
• LLM 설문 응답을 연구하기 위한 방법론적 도구를 제공한다(순서 편향 탐색, 균일 기준 벤치마킹, 식별자 테스트).

제안 방법

• 25개의 ACS 객관식 문제로 LLMs에 프롬프트를 제시하고 답변에 대한 확률 분포를 기록한다.
• 모델 크기에 따른 응답 변이성을 비교하기 위해 정규화 엔트로피를 계산한다.
• 답안 순서를 무작위로 바꿔 A-bias를 식별하고 균일성으로부터의 편차를 측정한다.
• 무작위 순서하에서 보정된 응답 분포를 얻으려 여러 순열에 걸쳐 평균한다.
• 전체 ACS 설문지를 채우도록 모델에 순차적으로 프롬프트를 제공하고 대규모 합성 데이터 세트를 구축한다.
• 모델이 생성한 데이터와 인구조사 데이터를 구별하도록 XGBoost 분류기를 훈련시켜 분포 유사성을 평가한다.

실험 결과

연구 질문

• RQ1 LLMs’의 개별 ACS 질문에 대한 응답 분포가 미국 인구조사 분포를 닮았는가?
• RQ2 무작위화된 답안 순서가 LLM의 표기/순서 편향을 드러내고 완화하는가?
• RQ3 보정된(순서 편향 보정) LLM 응답이 거의 균등에 가까운가, 그리고 그것이 인구조사 데이터와 어떻게 비교되는가?
• RQ4 지시 미세조정 또는 RLHF로 조정된 모델이 기본 모델의 ACS 설문 응답과 차이가 있는가?
• RQ5 순차적으로 프롬프트된 LLM이 생성한 데이터가 실제 인구조사 데이터와 닮았는가?

주요 결과

• LLMs는 상당한 순서 편향을 보이며, 프롬프트에서 처음 옵션으로 라벨링된 'A'에 강한 경향이 있다.
• 답안 순서를 무작위로 바꾼 후 보정된 응답은 질문과 모델 크기에 따라 거의 균일에 가까워진다.
• 보정 후에는 모델 응답이 대부분 미국 인구조사 분포보다 균일에 더 가깝다.
• 지시 조정 및 RLHF는 응답 엔트로피를 줄이지만 여전히 인구조사 데이터보다 균일에 더 근접한 분포를 보인다.
• 식별자 테스트는 합성 데이터와 인구조사 데이터를 >97%의 정확도로 구별할 수 있어 합성 분포와 인구조사 분포 간의 큰 차이를 시사한다.