[논문 리뷰] What does ChatGPT return about human values? Exploring value bias in ChatGPT using a descriptive value theory

Ronald Fischer, Markus Luczak–Roesch외 1명|arXiv (Cornell University)|2023. 04. 07.

Artificial Intelligence in Healthcare and Education인용 수 10

한 줄 요약

본 연구는 Schwartz의 기본 가치 이론을 이용해 ChatGPT에서 가능한 가치 편향을 검토한 결과, 명시적 가치 편향은 거의 발견되지 않으며 ChatGPT 출력에서 동기적 내용을 고충실도로 재현하는 경향이 강하고, 사회적으로 지향된 가치의 일부가 합쳐지는 경향이 관찰된다.

ABSTRACT

There has been concern about ideological basis and possible discrimination in text generated by Large Language Models (LLMs). We test possible value biases in ChatGPT using a psychological value theory. We designed a simple experiment in which we used a number of different probes derived from the Schwartz basic value theory (items from the revised Portrait Value Questionnaire, the value type definitions, value names). We prompted ChatGPT via the OpenAI API repeatedly to generate text and then analyzed the generated corpus for value content with a theory-driven value dictionary using a bag of words approach. Overall, we found little evidence of explicit value bias. The results showed sufficient construct and discriminant validity for the generated text in line with the theoretical predictions of the psychological model, which suggests that the value content was carried through into the outputs with high fidelity. We saw some merging of socially oriented values, which may suggest that these values are less clearly differentiated at a linguistic level or alternatively, this mixing may reflect underlying universal human motivations. We outline some possible applications of our findings for both applications of ChatGPT for corporate usage and policy making as well as future research avenues. We also highlight possible implications of this relatively high-fidelity replication of motivational content using a linguistic model for the theorizing about human values.

연구 동기 및 목표

• ChatGPT 출력이 심리적 가치 이론(Schwartz 기본 가치)에 부합하는 가치 편향을 보이는지 평가한다.
• ChatGPT가 생성한 텍스트가 서술적 가치 이론으로 정의된 동기 내용을 보존하는지 평가한다.
• 기업 활용, 정책 결정, 그리고 언어 모델의 인간 가치에 대한 향후 연구에 대한 시사점을 탐구한다.

제안 방법

• Schwartz 기본 가치 이론에서 파생된 프롬프트(개정된 인물 가치 설문지 항목, 가치 유형 정의, 가치 이름)를 사용한 탐색 실험 설계.
• OpenAI API를 통해 ChatGPT에 반복적으로 프롬트를 입력해 텍스트를 생성한다.
• 이론 기반의 가치 사전을 사용하여 토큰 집합 형태의 방식으로 생성된 말뭉드를 분석한다.

실험 결과

연구 질문

• RQ1 ChatGPT 출력이 Schwartz 이론에 의해 정의된 명시적 가치 편향을 보이나?
• RQ2 출력의 가치 내용이 프롬프트에 내재된 동기 content를 충실히 재현하는 정도는 어느 정도인가?
• RQ3 생성된 텍스트에서 가치 구분에 영향을 주는 언어적 패턴(예: 사회적으로 지향된 가치의 합성)이 있는가?
• RQ4 기업 활용, 정책 결정, 가치 관련 언어 모델에 대한 향후 연구에 대한 시사점은 무엇인가?

주요 결과

• 전반적으로 ChatGPT 출력에서 명시적 가치 편향의 증거는 거의 없다.
• 생성된 텍스트는 심리학적 모델에 맞춘 충분한 구성 타당성과 판별 타당성을 보인다.
• 가치 내용이 출력에도 높은 충실도로 반영되는 것으로 보인다.
• 일부 사회적으로 지향된 가치의 합성이 관찰되며, 이는 언어적 불분명성이나 보편적인 인간 동기 때문일 수 있다.