[論文レビュー] PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection

Tao Yang, Tianyuan Shi+5 more|arXiv (Cornell University)|Oct 31, 2023

Mental Health via Writing被引用数 6

ひとこと要約

本稿では、心理的アンケートを連鎖的思考（CoT）推論手順として用いることで、大規模言語モデル（LLMs）がテキストからパーソナリティ特徴を推論するのを支援する、新しいゼロショットパーソナリティ検出手法PsyCoTを提案する。LLMに複数回にわたる対話形式でアンケートの個々の項目を評価させるプロンプトを提示することで、推論の正確性と頑健性が向上し、2つのベンチマークデータセットにおいて標準的プロンプトよりもF1スコアで4.23〜10.63ポイント向上し、一部の微調整済みモデルをも上回る性能を達成した。

ABSTRACT

Recent advances in large language models (LLMs), such as ChatGPT, have showcased remarkable zero-shot performance across various NLP tasks. However, the potential of LLMs in personality detection, which involves identifying an individual's personality from their written texts, remains largely unexplored. Drawing inspiration from Psychological Questionnaires, which are carefully designed by psychologists to evaluate individual personality traits through a series of targeted items, we argue that these items can be regarded as a collection of well-structured chain-of-thought (CoT) processes. By incorporating these processes, LLMs can enhance their capabilities to make more reasonable inferences on personality from textual input. In light of this, we propose a novel personality detection method, called PsyCoT, which mimics the way individuals complete psychological questionnaires in a multi-turn dialogue manner. In particular, we employ a LLM as an AI assistant with a specialization in text analysis. We prompt the assistant to rate individual items at each turn and leverage the historical rating results to derive a conclusive personality preference. Our experiments demonstrate that PsyCoT significantly improves the performance and robustness of GPT-3.5 in personality detection, achieving an average F1 score improvement of 4.23/10.63 points on two benchmark datasets compared to the standard prompting method. Our code is available at https://github.com/TaoYang225/PsyCoT.

研究の動機と目的

• 大規模言語モデル（LLMs）の強力なゼロショット能力にもかかわらず、テキストデータからのゼロショットパーソナリティ検出という分野は未だ十分に調査されていないことから、その可能性を検討すること。
• 標準的プロンプトの限界を是正するため、心理的評価ツールを模した構造化された推論プロセスを導入すること。
• 人間のパーソナリティテストの多段階的推論プロセスをモデル化することで、LLMを用いたパーソナリティ推論の正確性と頑健性を向上させること。
• 適切に設計されたアンケートが、微調整済みモデルと同等の性能を達成できるような効果的な連鎖的思考プロンプトとして機能できることを実証すること。

提案手法

• PsyCoTはパーソナリティ検出を複数回の対話形式として定式化し、LLMが著者のテキストに基づいて心理的アンケートの項目を評価するAIアシスタントとして機能する。
• 各ターンで、アンケートの1つの項目がLLMにプロンプトされ、テキストに基づいてスコアが割り当てられ、人間の自己評価プロセスをシミュレートする。
• 過去の評価履歴は、標準的なアンケートルールに従って集約され、全体の特徴スコアが算出され、最終的なパーソナリティ予測に反映される。
• 本手法はパrameterの更新なしにコンテキスト内学習に依存し、単に構造化された心理的アンケート項目をCoTステップとして用いたプロンプト工学に依存する。
• 本フレームワークは、選択肢の順序や後続のシーケンスを変更することで摂動を加えることで、ゼロショットプロンプティングと頑健性テストを両立できる。
• 本手法は、Big FiveとMBTIの2つのパーソナリティモデルを用いて、2つのデータセット（EssaysおよびKaggle）で評価された。

実験結果

リサーチクエスチョン

• RQ1 心理的アンケートを連鎖的思考の推論ステップとして再利用することで、LLMを用いたパーソナリティ検出の性能向上が図れるか？
• RQ2 アンケート項目を用いた複数回の対話形式プロンプト戦略は、単一ターンまたは標準的プロンプトに比べて性能が向上するか？
• RQ3 PsyCoTは微調整済みモデルと比較して、ゼロショットパーソナリティ検出でどの程度優れているか？
• RQ4 選択肢の順序を変更するなどのプロンプト摂動に対して、PsyCoTはどの程度の頑健性を示すか？
• RQ5 入力の投稿順序が、PsyCoTのようなプロンプトベースのパーソナリティ検出手法の性能に影響を及えるか？

主な発見

• EssaysおよびKaggleデータセットにおいて、PsyCoTは標準的プロンプトに対して平均して4.23および10.63ポイントのF1スコア向上を達成した。
• Essaysデータセットでは、PsyCoTは大多数のパーソナリティ特徴について、複数の微調整済みモデルを上回り、微調整パラダイムにおける強力な競争力を持つことが示された。
• アブレーションスタディの結果、複数回の対話形式のフォーマットが、単一ターンプロンプトに比べて顕著に推論の正確性を向上させた。
• 選択肢の順序を変更する摂動テストにおいて、PsyCoTは92.0％の最も高い不変率を示し、他のプロンプトベース手法を上回った。
• Kaggleデータセットにおいて投稿順序をシャッフルすると、大多数の特徴で予測に影響が生じ、入力シーケンスがPsyCoTですら感受性要因のまま残っていることが示された。
• 本手法は高い頑健性と信頼性を示しており、心理的アンケートからの構造化されたCoTが、LLMの推論安定性を向上させることを示唆している。