[논문 리뷰] Estimating the Personality of White-Box Language Models

Saketh Reddy Karra, Son Nguyen외 1명|arXiv (Cornell University)|2022. 04. 25.

Mental Health via Writing인용 수 12

한 줄 요약

이 논문은 화이트박스 언어 모델의 성격 특성에 대해 빅 파이브 프레임워크를 사용하여 정량화하고 수정하는 방법을 제안한다. 모델에 성격 설문지 자극을 주고, 제로샷 분류를 통해 응답을 분류함으로써 저자들은 성격 프로파일을 추정하고, 미세조정을 통해 이러한 특성이 수정될 수 있음을 입증한다. 다만, 목표로 하지 않은 특성들에서도 뜻하지 않은 변화가 발생한다.

ABSTRACT

Technology for open-ended language generation, a key application of artificial intelligence, has advanced to a great extent in recent years. Large-scale language models, which are trained on large corpora of text, are being used in a wide range of applications everywhere, from virtual assistants to conversational bots. While these language models output fluent text, existing research shows that these models can and do capture human biases. Many of these biases, especially those that could potentially cause harm, are being well-investigated. On the other hand, studies that infer and change human personality traits inherited by these models have been scarce or non-existent. Our work seeks to address this gap by exploring the personality traits of several large-scale language models designed for open-ended text generation and the datasets used for training them. We build on the popular Big Five factors and develop robust methods that quantify the personality traits of these models and their underlying datasets. In particular, we trigger the models with a questionnaire designed for personality assessment and subsequently classify the text responses into quantifiable traits using a Zero-shot classifier. Our estimation scheme sheds light on an important anthropomorphic element found in such AI models and can help stakeholders decide how they should be applied as well as how society could perceive them. Additionally, we examined approaches to alter these personalities, adding to our understanding of how AI models can be adapted to specific contexts.

연구 동기 및 목표

• 대규모 언어 모델 및 그 훈련 데이터셋의 성격 특성을 빅 파이브 프레임워크를 사용해 경험적으로 정량화하는 것.
• 프롬프트 기반 생성 및 제로샷 분류를 통해 언어 모델의 성격 프로파일을 추정하는 강력한 방법을 개발하는 것.
• 언어 모델의 성격 특성이 성격 레이블이 부여된 데이터셋에 대해 미세조정을 통해 수정될 수 있는지 여부와 방법을 조사하는 것.
• 미세조정이 목표로 하지 않은 성격 차원에서의 뜻하지 않은 변화에 미치는 영향을 평가하는 것.
• 맞춤형 성격 특성을 가진 더 제어 가능하고 윤리적이며 사용자 중심의 AI 시스템 설계를 위한 기반을 마련하는 것.

제안 방법

• 언어 모델에 표준화된 빅 파이브 성격 설문지를 사용해 개방형 응답을 생성한다.
• 미리 훈련된 제로샷 분류기를 적용하여 모델의 응답을 빅 파이브 성격 특성 카테고리로 자동 분류한다.
• 모델 생성 텍스트와 훈련 데이터셋을 동일한 제로샷 분류 파이프라인을 통해 처리하여 성격 프로파일을 추정한다.
• 특정 성격 특성(예: 관용성, 외향성)이 레이블이 부여된 필터링된 데이터셋에 대해 화이트박스 언어 모델(예: GPT-2)을 미세조정한다.
• 정량적 지표와 분포 분석을 사용해 미세조정 전후의 성격 점수 변화를 평가한다.
• 미세조정에 대한 레이블 필터링을 위한 다중 임계값을 사용하여 성격 수정의 민감도와 강건성 평가

실험 결과

연구 질문

• RQ1 언어 모델은 훈련 데이터의 성격 특성을 어느 정도 반영하는가?
• RQ2 생성된 응답에 대한 제로샷 분류를 통해 언어 모델의 성격 특성을 신뢰성 있게 추정할 수 있는가?
• RQ3 성격 레이블이 부여된 데이터셋에 대해 미세조정을 수행하면 모델의 성격에 측정 가능하고 목표 지향적인 변화가 발생하는가?
• RQ4 미세조정 중에 목표로 하지 않은 성격 차원에서 어떤 뜻하지 않은 부작용이 발생하는가?
• RQ5 성격 수정은 정밀도를 달성할 수 있는가, 아니면 변화가 여러 특성으로 확산되는가?

주요 결과

• 필터링된 데이터셋에 대해 GPT-2를 미세조정하면, 표8에 나타나 있듯이 관용성, 성실성, 정서적 안정성, 개방성의 성격 점수가 크게 변화한다.
• 미세조정 후, GPT-2의 중앙값 외향성 점수는 임계값 2.5일 때 2.89로 떨어져 성격 프로파일의 측정 가능한 변화를 보였다.
• 성격 변화는 국소적이지 않았다. 목표로 하지 않은 특성들인 관용성과 성실성 역시, 한 가지 특성만 목표로 할지라도 변화를 보였다.
• 그림9에 나타나 있듯이, 미세조정된 GPT-2 모델의 성격 특성 분포는 새로운 훈련 데이터 코퍼스의 영향을 반영하고 있다.
• Method 2는 미세조정에 대해 임계값을 적용한 레이블을 사용했으며, 이는 특성 간에 균일하지 않은 변화를 보였고, 다양한 임계값에서 점수의 변화가 관찰되었다.
• 다소 유망한 결과에도 불구하고, 본 연구는 핵심 과제를 밝혀냈다: 미세조정은 다수의 성격 차원에서 뜻하지 않은 변화를 유도하며, 이는 정밀한 제어를 제한한다.