[論文レビュー] Machine Psychology

Thilo Hagendorff, Dasgupta, Ishita+6 more|arXiv (Cornell University)|Mar 24, 2023

Topic Modeling被引用数 67

ひとこと要約

この論文は、標準的な性能ベンチマークを超え、出現的な能力と行動パターンへの計算的洞察を得るために、心理学に触発された行動実験を通じて大規模言語モデルを研究することを主張している。

ABSTRACT

Large language models (LLMs) show increasingly advanced emergent capabilities and are being incorporated across various societal domains. Understanding their behavior and reasoning abilities therefore holds significant importance. We argue that a fruitful direction for research is engaging LLMs in behavioral experiments inspired by psychology that have traditionally been aimed at understanding human cognition and behavior. In this article, we highlight and summarize theoretical perspectives, experimental paradigms, and computational analysis techniques that this approach brings to the table. It paves the way for a "machine psychology" for generative artificial intelligence (AI) that goes beyond performance benchmarks and focuses instead on computational insights that move us toward a better understanding and discovery of emergent abilities and behavioral patterns in LLMs. We review existing work taking this approach, synthesize best practices, and highlight promising future directions. We also highlight the important caveats of applying methodologies designed for understanding humans to machines. We posit that leveraging tools from experimental psychology to study AI will become increasingly valuable as models evolve to be more powerful, opaque, multi-modal, and integrated into complex real-world settings.

研究の動機と目的

• 実験心理学の方法をLLMsに適用して認知と行動を理解することを動機づける。
• 機械心理学のための理論的観点、実験的パラダイム、および計算解析技術を統合する。
• 人間中心の方法論を機械へ移管する際の留意点を強調する。
• 出現的AI能力に関する堅牢で解釈可能な洞察を得るための今後の方向性を示す。

提案手法

• LLMsを用いた心理学に触発された実験を用いる既存の研究をレビューする。
• 理論的観点、実験的パラダイム、計算解析技術を要約する。
• ベストプラクティスを統合し、分野横断的な方法論移行の留意点を特定する。
• モデルの発展に伴う機械心理学の将来の研究方向を提案する。

実験結果

リサーチクエスチョン

• RQ1 心理学からどのような実験パラダイムがLLMsの研究に効果的に適応できるか？
• RQ2 生成系AIにおける出現的能力を、性能ベンチマークを超えて最もよく明らかにする計算解析技術は何か？
• RQ3 人間中心の方法を機械に適用する際に生じる留意点は何か、そしてそれをどう緩和できるか？
• RQ4 複雑な現実世界の設定におけるAI振る舞いの理解を高める将来の方向性は何か？

主な発見

• LLMsは心理学に触発された実験で探ることができる出現的な振る舞いを示す。
• 実験心理学のツールを統合することで、標準的なベンチマークを超えた計算的洞察が得られる。
• 人間指向の方法論を機械に適用する際には、慎重な適応を要する重要な留意点がある。
• モデルがより強力で不透明、モーダルが多様化し、現実世界の文脈に統合されるにつれて、このアプローチは価値が高くなる。