[논문 리뷰] Personality testing of Large Language Models: Limited temporal stability, but highlighted prosociality

Bojana Bodroža, Bojana M. Dinić외 1명|arXiv (Cornell University)|2023. 06. 07.

Artificial Intelligence in Healthcare and Education인용 수 10

한 줄 요약

본 연구는 두 시점에서 성격 도구에 대한 7개의 LLM의 시간적 안정성과 평가자 간 합의도를 평가하고, 합의가 가변적이며 주로 친사회적 프로필을 보인다는 것을 발견했다.

ABSTRACT

As Large Language Models (LLMs) continue to gain popularity due to their human-like traits and the intimacy they offer to users, their societal impact inevitably expands. This leads to the rising necessity for comprehensive studies to fully understand LLMs and reveal their potential opportunities, drawbacks, and overall societal impact. With that in mind, this research conducted an extensive investigation into seven LLM's, aiming to assess the temporal stability and inter-rater agreement on their responses on personality instruments in two time points. In addition, LLMs personality profile was analyzed and compared to human normative data. The findings revealed varying levels of inter-rater agreement in the LLMs responses over a short time, with some LLMs showing higher agreement (e.g., LIama3 and GPT-4o) compared to others (e.g., GPT-4 and Gemini). Furthermore, agreement depended on used instruments as well as on domain or trait. This implies the variable robustness in LLMs' ability to reliably simulate stable personality characteristics. In the case of scales which showed at least fair agreement, LLMs displayed mostly a socially desirable profile in both agentic and communal domains, as well as a prosocial personality profile reflected in higher agreeableness and conscientiousness and lower Machiavellianism. Exhibiting temporal stability and coherent responses on personality traits is crucial for AI systems due to their societal impact and AI safety concerns.

연구 동기 및 목표

• LLM 성격 평가가 시간에 따라 그리고 도구 간에 얼마나 안정적인지 이해를 촉진한다.
• LLM 응답에 대한 평가자 간 합의를 평가한다.
• LLM의 성격 프로필을 인간 규범 데이터와 비교한다.
• 더 신뢰할 수 있는 성격 특성 신호를 산출하는 모델과 도구를 식별한다.
• 일관된 성격 시뮬레이션의 AI 안전 및 사회적 영향에 대한 시사점을 강조한다.

제안 방법

• 두 시점에 표준화된 성격 도구로 7개의 LLM을 평가한다.
• 평가자 간 합의를 평가한다.
• 합의가 도구와 특성 영역에 따라 어떻게 달라지는지 분석한다.
• LLM에서 파생된 성격 프로필을 인간 규범 데이터와 비교한다.
• 응답의 시간적 안정성과 특성 간 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 두 시점에 걸친 성격 검사 응답에서 LLM이 시간적 안정성을 보이나?
• RQ2 LLM 응답을 평가할 때 서로 다른 평가자 간 합의가 얼마나 되는가?
• RQ3 합의가 도구 또는 특성 영역(agentic vs communal)에 따라 달라지는가?
• RQ4 LLM 성격 프로필이 사회적으로 바람직한가, 그리고 인간 규범과 어떻게 비교되는가?
• RQ5 어떤 모델이 성격 평가에서 더 높은 안정성과 합의를 보이는가?

주요 결과

• LLMs 응답에 대한 평가자 간 합의는 짧은 시간에 따라 달라지며, 일부 모델은 다른 모델보다 더 높은 합의를 보인다.
• 합의는 사용된 도구와 성격 영역 또는 특성에 따라 달라진다.
• 적어도 공정한 합의가 있는 척도에서 LLM은 주도적(agentic) 및 공동체적(communal) 영역에서 사회적으로 바람직한 프로필로 경향한다.
• LLMs는 친사회적 성격 프로필을 보이며 동의성 및 양심성은 높고 Machiavellianism은 낮다.
• 시간적 안정성은 제한적이며, 일관된 성격 시뮬레이션의 AI 안전 및 사회적 영향에 대한 고려를 제기한다.