[論文レビュー] What does ChatGPT return about human values? Exploring value bias in ChatGPT using a descriptive value theory

Ronald Fischer, Markus Luczak–Roesch+1 more|arXiv (Cornell University)|Apr 7, 2023

Artificial Intelligence in Healthcare and Education被引用数 10

ひとこと要約

要するに、本論では Schwartz の基本価値理論を用いて ChatGPT の潜在的な価値バイアスを検討し、ChatGPT の出力における動機付け content の高い忠実性再現が示される一方で、明確な価値バイアスはほとんど見られず、社会的指向の価値が一部統合されていることを確認した。

ABSTRACT

There has been concern about ideological basis and possible discrimination in text generated by Large Language Models (LLMs). We test possible value biases in ChatGPT using a psychological value theory. We designed a simple experiment in which we used a number of different probes derived from the Schwartz basic value theory (items from the revised Portrait Value Questionnaire, the value type definitions, value names). We prompted ChatGPT via the OpenAI API repeatedly to generate text and then analyzed the generated corpus for value content with a theory-driven value dictionary using a bag of words approach. Overall, we found little evidence of explicit value bias. The results showed sufficient construct and discriminant validity for the generated text in line with the theoretical predictions of the psychological model, which suggests that the value content was carried through into the outputs with high fidelity. We saw some merging of socially oriented values, which may suggest that these values are less clearly differentiated at a linguistic level or alternatively, this mixing may reflect underlying universal human motivations. We outline some possible applications of our findings for both applications of ChatGPT for corporate usage and policy making as well as future research avenues. We also highlight possible implications of this relatively high-fidelity replication of motivational content using a linguistic model for the theorizing about human values.

研究の動機と目的

• ChatGPT の出力が心理的価値理論（ Schwartz 基本価値）に沿った価値バイアスを示すかを評価する。
• ChatGPT が生成するテキストが、記述的価値理論で定義された動機づけ内容を保存しているかを評価する。
• 企業利用、政策決定、および言語モデルにおける人間の価値に関する今後の研究への影響を探る。

提案手法

• Schwartz 基本価値理論から派生したプロンプト（改訂 Portrait Value Questionnaire の項目、価値タイプの定義、価値名）を用いた probing 実験を設計する。
• OpenAI API を介して ChatGPT に繰り返しプロンプトを与え、テキストを生成させる。
• バッグ・オブ・ワーズ手法を用いた理論駆動の価値辞書で生成コーパスを分析する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT の出力は Schwartz の理論で定義される明確な価値バイアスを示すか。
• RQ2 出力における価値内容は、プロンプトに組み込まれた動機付け内容を忠実に再現している程度はどれくらいか。
• RQ3 社会的指向の価値の統合など、言語パターンが生成テキストの価値の識別性に影響を及ぼしているか。
• RQ4 企業利用、政策決定、および価値関連言語モデルに関する今後の研究へどのような示唆があるか。

主な発見

• 全体として、ChatGPT の出力に明確な価値バイアスの証拠はほとんど見られない。
• 生成テキストは心理モデルと一致する構成概念と判別妥当性を十分に示している。
• 価値内容は出力に高い忠実度で伝搬しているように見える。
• 社会的指向の価値の一部が統合されている観察があり、言語的な曖昧さや普遍的な人間の動機付けを反映している可能性がある。