[논문 리뷰] Identifying and Manipulating the Personality Traits of Language Models

Graham Caron, Shashank Srivastava|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 '빅 파이브' 성격 프레임워크를 기반으로 한 심리측정 설문지를 활용하여 언어 모델의 인식되는 성격 특성들을 식별하고 제어하는 방법을 제안한다. 자기 보고 기반의 기술 또는 Reddit 게시물과 같은 맥락을 통합함으로써, BERT 및 GPT2와 같은 모델들이 높은 예측 가능성을 바탕으로 특정 성격 특성을 반영하도록 조작될 수 있음을 저자들은 입증한다. 이는 기대된 변화와 관찰된 변화 사이의 중앙값 피어슨 상관계수 0.84에 이를 정도로 높은 정확도를 기록한다.

ABSTRACT

Psychology research has long explored aspects of human personality such as extroversion, agreeableness and emotional stability. Categorizations like the `Big Five' personality traits are commonly used to assess and diagnose personality types. In this work, we explore the question of whether the perceived personality in language models is exhibited consistently in their language generation. For example, is a language model such as GPT2 likely to respond in a consistent way if asked to go out to a party? We also investigate whether such personality traits can be controlled. We show that when provided different types of contexts (such as personality descriptions, or answers to diagnostic questions about personality traits), language models such as BERT and GPT2 can consistently identify and reflect personality markers in those contexts. This behavior illustrates an ability to be manipulated in a highly predictable way, and frames them as tools for identifying personality traits and controlling personas in applications such as dialog systems. We also contribute a crowd-sourced data-set of personality descriptions of human subjects paired with their `Big Five' personality assessment data, and a data-set of personality descriptions collated from Reddit.

연구 동기 및 목표

• 언어 모델이 텍스트 생성 과정에서 일관되고 식별 가능한 성격 특성을 보이는지 조사하기 위해.
• 이러한 인식되는 성격 특성이 성격 기술 또는 진단 질문과 같은 맥락 입력을 통해 조작될 수 있는지 탐색하기 위해.
• 두 가지 새로운 데이터셋을 개발하고 공개하기 위해: 하나는 인간의 자기 보고 기반 성격 기술과 빅 파이브 점수를 짝지은 것으로, 다른 하나는 공개된 Reddit 게시물에서 유래한 것이다.
• 언어 모델이 텍스트 기반 기술을 바탕으로 인간 사용자의 빅 파이브 성격 특성을 정확히 예측할 수 있는지 평가하기 위해.
• 성별 기반의 성격 특성 인식 편향 및 AI에서의 성격 조작의 윤리적 함의를 고려하여 모델 행동의 잠재적 편향을 검토하기 위해.

제안 방법

• 언어 모델의 인식되는 성격 특성을 탐지하기 위해 '빅 파이브' 성격 프레임워크에서 유도된 심리측정 설문지를 수정하여 모델의 응답을 통해 성격 특성을 분석하였다.
• 성격 기술, 설문 응답, Reddit 게시물과 같은 맥락 프롬프트를 사용하여 모델의 출력을 조절하고, 그로 인해 인식되는 성격을 영향을 주었다.
• HuggingFace의 BERT와 GPT2를 대상으로 로지스틱 회귀 분류기를 훈련하여 모델의 응답에서 성격 특성 점수를 예측하였다.
• 예측된 점수와 기대된 점수 사이의 피어슨 상관계수를 계산하여 성격 특성 조작의 예측 가능성을 정량화하였다.
• 아마존 Mechanical Turk를 통해 100명의 인간 참가자로부터 자기 보고 기반 성격 기술과 해당 빅 파이브 평가 점수를 수집하고 정제한 커뮤니티 기반 데이터셋을 확보하였다.
• 공개된 Reddit 게시물을 크롤링하고 집계하여, 모델 탐색을 위한 비공식적인 성격 기술 기반의 두 번째 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 자신의 성격 기술이나 맥락 기반 프롬프트를 제공받았을 때 언어 모델이 일관되게 특정 성격 특성을 반영할 수 있는가?
• RQ2 정교하게 설계된 맥락 입력을 통해 언어 모델의 인식되는 성격을 어느 정도 제어할 수 있는가?
• RQ3 언어 모델이 인간 사용자의 자기 보고 기반 텍스트 기술을 바탕으로 빅 파이브 성격 특성을 정확히 예측할 수 있는가?
• RQ4 남성/여성 식별 이름을 프롬프트로 제공했을 때 언어 모델이 성격 특성 인식에 성별 편향을 보이는가?
• RQ5 사전학습 데이터와 모델 아키텍처는 언어 모델에서 인식되는 성격 특성의 출현과 유연성에 어떤 영향을 미치는가?

주요 결과

• BERT 및 GPT2와 같은 언어 모델은 맥락 기반 프롬프트를 받았을 때 성격 특성 반영에 높은 일관성을 보이며, 기대된 변화와 관찰된 변화 사이의 중앙값 피어슨 상관계수는 각각 0.84와 0.81을 기록하였다.
• 자기 보고 기반 인간의 성격 기술이 제공된 경우, 언어 모델은 해당 빅 파이브 점수를 최대 0.48의 상관계수로 예측하여 측정 가능한 예측 능력을 보였다.
• BERT와 GPT2 모두 여성으로 식별된 이름에 대해 친화성, 성실성, 정서적 안정성의 평균 점수가 높게 나타났으며, 이는 심리학 문헌과 일치하지만, 정서적 안정성(신경증)에 대해서는 차이가 관찰되었다.
• GPT2는 남성으로 식별된 이름에 대해 외향성과 경험에 대한 열린 태도의 평균 점수가 더 높았고, BERT는 유의미한 차이가 없었으며, 이는 모델별로 성별 편향 패tern이 다름을 시사한다.
• Reddit 기반 기술을 맥락으로 사용함으로써 인식되는 성격 특성의 일관된 조작이 가능했으며, 이는 공개된 비공식 텍스트를 인격 설정 제어에 활용할 수 있음을 보여준다.
• 본 연구는 두 가지 데이터셋을 공개하였다: 100명의 인간 참가자로부터 확보한 자기 보고 기반 기술과 빅 파이브 점수를 포함한 데이터셋, 그리고 1,000개의 Reddit 기반 성격 기술을 포함한 데이터셋으로, 모두 연구 목적을 위해 공개되어 있다.