[논문 리뷰] Quantifying the Persona Effect in LLM Simulations

Tiancheng Hu, Nigel Collier|arXiv (Cornell University)|2024. 02. 16.

Human-Automation Interaction and SafetyPsychology인용 수 3

한 줄 요약

이 연구는 주관적인 NLP 작업에서 인간 애너테이션에 영향을 미치는 성격 변수(예: 인구통계학적 요소, 태도, 경험)의 영향을 정량화하고, 성격 프롬프팅을 통한 LLM 기반 시뮬레이션 향상 가능성에 대해 평가한다. 연구 결과, 대부분의 데이터셋에서 성격 변수는 분산의 10% 미만을 설명하며, 성격 프롬프팅의 효과는 제한적이며, 분산이 높을 경우에만 예측 성능 향상이 약간 발생하고, 성격 유용성이 낮을 경우 성능이 떨어진다.

ABSTRACT

Large language models (LLMs) have shown remarkable promise in simulating human language and behavior. This study investigates how integrating persona variables-demographic, social, and behavioral factors-impacts LLMs' ability to simulate diverse perspectives. We find that persona variables account for <10% variance in annotations in existing subjective NLP datasets. Nonetheless, incorporating persona variables via prompting in LLMs provides modest but statistically significant improvements. Persona prompting is most effective in samples where many annotators disagree, but their disagreements are relatively minor. Notably, we find a linear relationship in our setting: the stronger the correlation between persona variables and human annotations, the more accurate the LLM predictions are using persona prompting. In a zero-shot setting, a powerful 70b model with persona prompting captures 81% of the annotation variance achievable by linear regression trained on ground truth annotations. However, for most subjective NLP datasets, where persona variables have limited explanatory power, the benefits of persona prompting are limited.

연구 동기 및 목표

• 주관적인 NLP 작업 전반에서 성격 변수가 인간 애너테이션의 분산을 얼마나 설명하는지 평가하는 것.
• 성격 프롬프팅을 통해 LLM이 주관적인 NLP 애너테이션에서 다양한 시각을 시뮬레이션하는 데에 얼마나 효과적인지 평가하는 것.
• 성격 프롬프팅이 가장 큰 향상을 가져오는 데이터 샘플의 유형을 특정하는 것.
• 성격 변수의 설명력과 LLM의 성격 시뮬레이션 성능 향상 사이의 선형 관계를 분석하는 것.
• 데이터셋 설계 및 인간 시각을 시뮬레이션할 때 LLM을 신중하게 사용하기 위한 권고 사항을 제시하는 것.

제안 방법

• 네 개의 주관적인 NLP 데이터셋에서 성격 변수가 인간 애너테이션의 분산을 얼마나 설명하는지 R² 통계를 사용해 측정하였다.
• LLM 추론 이전에 성격 설명(예: 인구통계학적 요소, 태도)을 프롬프트 앞부분에 삽입하여 성격 프롬프팅을 적용하였다.
• 모델 예측과 인간 애너테이션 간의 상관관계 및 R² 지표를 사용해 LLM 성능을 평가하였다.
• 텍스트 무작위성은 고정하고 성격 유용성을 다양하게 조절하여 제어 실험을 수행해 시뮬레이션 능력을 격리하였다.
• 다양한 모델 규모를 고려하기 위해 대규모 지시 희소화된 LLM(예: Llama 3, Mixtral)을 사용하여 성능을 평가하였다.
• 결과의 일관성을 확보하기 위해 프롬프트 표현 방식과 성격 순서에 대한 복원성 검증을 수행하였다.

실험 결과

연구 질문

• RQ1 RQ1: 인간 애너테이션의 분산 중 성격 변수가 얼마나 설명할 수 있는가?
• RQ2 RQ2: 프롬프팅을 통해 성격 변수를 통합하면 LLM의 예측 성능이 향상되는가?
• RQ3 RQ3: 어떤 유형의 샘플에서 성격 프롬프팅이 가장 유용한가?
• RQ4 RQ4: 성격 유용성이 변할 때, 텍스트 무작위성이 제어된 조건에서 LLM은 성격을 얼마나 잘 시뮬레이션할 수 있는가?

주요 결과

• 대부분의 주관적인 NLP 데이터셋에서 성격 변수는 인간 애너테이션의 분산을 10% 미만으로 설명한다.
• 성격 프롬프팅으로 인한 LLM 성능 향상은 미미하며, 성격 변수가 애너테이션 분산의 의미 있는 부분을 설명할 때에만 발생한다.
• 성격 프롬프팅으로 인한 LLM 예측 성능 향상은 애너테이터 간 의견 차이가 좁은 범위에 국한된 샘플에서 가장 뚜렷하다.
• 성격 변수가 설명하는 분산 비율과 LLM 예측 성능 향상 사이에 선형 관계가 존재한다.
• 대규모로 미세조정된 LLM은 성격 유용성이 높을 경우 인간 응답의 분산을 최대 81%까지 설명할 수 있지만, R² < 0.1일 경우 성능은 거의 0에 수렴한다.
• 대부분의 기존 NLP 데이터셋은 성격 유용성이 낮은 범주(R² < 0.1)에 속해 있어, 현재 NLP 연구에서 성격 프롬프팅의 실용적 효과가 제한된다.