[논문 리뷰] On the Effectiveness of Creating Conversational Agent Personalities Through Prompting

Heng Gu, Chadha Degachi외 3명|arXiv (Cornell University)|2023. 10. 17.

Topic Modeling인용 수 5

한 줄 요약

이 연구는 GPT-3.5와 GPT-4를 사용하여 대화형 에이전트에서 프롬프팅 기반 성격 공 ing를 조사한다. 기부 촉구 분야의 지식을 활용해 세 가지 성격 차원—태도(낙관적/비관적), 권위(권위적/복종적), 추론(분석적/감성적)를 정의한다. LIWC 분석을 통해 GPT-4는 프롬프팅된 성격 특성과 유의미하게 더 잘 일치하는 것으로 나타났다(19개 LIWC 카테고리 중 12개에서 구분됨), 반면 GPT-3.5는 4개에서만 유의미한 차이를 보였다. 이는 모델에 따라 성능이 달라지며, 지속적이고 일관된 성격 표현을 보장하기 위해 보다 정교한 프롬프팅 전략이 필요함을 시사한다.

ABSTRACT

In this work, we report on the effectiveness of our efforts to tailor the personality and conversational style of a conversational agent based on GPT-3.5 and GPT-4 through prompts. We use three personality dimensions with two levels each to create eight conversational agents archetypes. Ten conversations were collected per chatbot, of ten exchanges each, generating 1600 exchanges across GPT-3.5 and GPT-4. Using Linguistic Inquiry and Word Count (LIWC) analysis, we compared the eight agents on language elements including clout, authenticity, and emotion. Four language cues were significantly distinguishing in GPT-3.5, while twelve were distinguishing in GPT-4. With thirteen out of a total nineteen cues in LIWC appearing as significantly distinguishing, our results suggest possible novel prompting approaches may be needed to better suit the creation and evaluation of persistent conversational agent personalities or language styles.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 대화형 에이전트에서 프롬프팅 기반 기법을 통해 일관되게 특정 성격 특성을 표현할 수 있는지 조사하기 위해.
• 기부 촉구 문헌에서 유도된 특정 성격 아키타입과 관련된 언어 스타일을 GPT-3.5와 GPT-4가 얼마나 정확하게 생성하는지 평가하기 위해.
• 언어적 출력에 가장 크게 영향을 주는 성격 차원(태도, 권위, 추론)을 규명하기 위해.
• LLM 기반 대화형 에이전트에서 성격 표현의 일관성과 지속성을 향상시키기 위한 실용적인 프롬프팅 전략을 제안하기 위해.

제안 방법

• 태도(낙관적/비관적), 권위(권위적/복종적), 추론(분석적/감성적)라는 세 가지 이진 차원을 기반으로 여덟 가지 성격 아키타입을 정의하였다.
• GPT-3.5와 GPT-4를 사용해 각 에이전트당 10회의 대화(각각 10개의 교환)를 생성하여 총 1600개의 교환을 확보하였다.
• 언어적 탐색 및 단어 수 계산(Linguistic Inquiry and Word Count, LIWC) 분석을 적용하여 19개의 심리언어 사전 카테고리에서 언어적 특징을 측정하였다.
• 통계적 검정을 통해 각 모델에서 성격 아키타입 간에 유의미하게 차이가 나는 LIWC 카테고리를 규명하였다.
• 각 성격 차원이 언어적 출력에 미치는 영향을 평가하고, 모델가 프롬프팅된 특성에 얼마나 민감한지 분석하였다.
• 새로운 프롬프팅 전략을 제안하였으며, 이는 동의어 삽입, 주기적 프롬프트 재주입, 실시간 LIWC 기반 피드백 루프를 통한 드리프트 보정을 포함한다.

실험 결과

연구 질문

• RQ1 RQ1: 프롬프팅 기반 기법을 사용한 LLM이 생성한 언어가 성격 특성과 언어 패턴 간의 기존 연관성과 일치하는가?
• RQ2 RQ2: GPT-3.5와 GPT-4는 여러 언어적 차원에서 프롬프팅된 성격 특성을 표현하는 데 어떤 차이를 보이는가?
• RQ3 RQ3: 태도, 권위, 추론 중 어떤 성격 차원이 LLM 생성 대화의 언어적 출력에 가장 크게 영향을 주는가?
• RQ4 RQ4: LIWC 카테고리의 실시간 모니터링을 통해 성격 드리프트를 피드백 기반으로 수정할 수 있는가?

주요 결과

• GPT-4는 프롬프팅된 성격 특성과 유의미하게 더 잘 일치하는 것으로 나타났으며, 19개의 LIWC 카테고리 중 12개에서 성격 아키타입 간 유의미한 차이를 보였다.
• GPT-3.5는 19개의 LIWC 카테고리 중 단 4개에서만 유의미한 차이를 보였으며, 이는 프롬프팅된 성격 변화에 대한 민감도가 낮음을 시사한다.
• 두 모델 모두에서 태도 차원이 언어적 출력에 가장 뚜렷한 영향을 미쳤으며, 특히 정서 및 영향력 관련 카테고리에 영향을 주었다.
• 권위 차원은 GPT-4에서 GPT-3.5보다 더 강한 영향을 미쳤으며, 이는 특정 성격 특성에 대한 모델별 민감도의 차이를 시사한다.
• 추론 차원은 두 모델 모두에서 가장 약한 영향을 미쳤으며, 분석적 스타일과 감성적 스타일 간의 언어적 차별화가 제한적임을 나타낸다.
• 개선된 점이 있었지만, 두 모델 모두 19개의 LIWC 카테고리 전반에서 충분한 일관성이 부족하여, 지속적인 성격 표현을 보장하기 위해 고도의 프롬프팅 기법이 필요함을 시사한다.