[論文レビュー] Semantic features of object concepts generated with GPT-3

Hannes Hansen, Martin N. Hebart|arXiv (Cornell University)|Feb 8, 2022

Topic Modeling被引用数 12

ひとこと要約

本研究では、GPT-3が1,854の具体的な物体概念について高品質な意味的特徴を自動生成できることを示しており、その特徴セットは、概念的類似性、関連性、カテゴリー所属を予測するうえで人間が定めたデータと同等の性能を発揮する。生成された特徴は人間の知識と強く整合しており、認知科学研究におけるスケーラブルで解釈可能な特徴規範の構築を可能にする。

ABSTRACT

Semantic features have been playing a central role in investigating the nature of our conceptual representations. Yet the enormous time and effort required to empirically sample and norm features from human raters has restricted their use to a limited set of manually curated concepts. Given recent promising developments with transformer-based language models, here we asked whether it was possible to use such models to automatically generate meaningful lists of properties for arbitrary object concepts and whether these models would produce features similar to those found in humans. To this end, we probed a GPT-3 model to generate semantic features for 1,854 objects and compared automatically-generated features to existing human feature norms. GPT-3 generated many more features than humans, yet showed a similar distribution in the types of generated features. Generated feature norms rivaled human norms in predicting similarity, relatedness, and category membership, while variance partitioning demonstrated that these predictions were driven by similar variance in humans and GPT-3. Together, these results highlight the potential of large language models to capture important facets of human knowledge and yield a new approach for automatically generating interpretable feature sets, thus drastically expanding the potential use of semantic features in psychological and linguistic studies.

研究の動機と目的

• 大規模言語モデル（GPT-3など）が任意の物体概念について意味的な特徴を自動生成できるかどうかを調査すること。
• GPT-3が生成した特徴の質と構造を、既存の人的アノテーションによる意味的特徴規範と比較すること。
• GPT-3の特徴が、人間が評価した概念的類似性、関連性、カテゴリー所属を、人間の規範と同等の精度で予測できるかどうかを評価すること。
• GPT-3の特徴が、人間の概念的知識と類似した根幹的な情報をもとにしているかどうかを特定すること。
• 心理的および言語的研究の分野において、広範な概念の範囲で解釈可能な意味的特徴規範を自動的に生成するスケーラブルな手法を確立すること。

提案手法

• GPT-3は、3つのFew-shot例を含むゼロショットプロンプティング戦略を用いて、1,854の具体的な物体概念について意味的特徴を生成した。
• 生成された特徴は前処理およびフィルタリング処理を経て重複や低品質なエントリが除去され、1,854の概念にわたる11,683個の固有特徴からなる洗練された特徴規範が得られた。
• 概念間の意味的類似性および関連性は、特徴の重複に基づいて計算され、THINGSデータセットからの人間の類似性評価と照合された。
• 人間の類似性評価の分散を説明する要因として、GPT-3、McRae、CSLBの各規範の寄与を評価するため、分散分割分析が適用された。
• GPT-3と人間の規範との間で特徴の分布およびラベル頻度を比較し、構造的類似性を評価した。
• 本手法は、既存の人間規範（McRaeおよびCSLB）およびTHINGSデータセットからの類似性評価を用いて検証され、直接的な比較が可能となった。

実験結果

リサーチクエスチョン

• RQ1 GPT-3は、任意の物体概念について、質的および量的側面で人間が生成した規範と同等の意味的特徴を生成できるか？
• RQ2 GPT-3が生成した特徴は、人間の規範と比較して、人間が評価した概念的類似性および関連性をどの程度正確に予測できるか？
• RQ3 GPT-3の特徴は、人間の概念的知識が持つ根幹的な情報とどの程度同じものを依存しているか？
• RQ4 GPT-3が生成する特徴の分布および種別は、人間が生成する特徴とどの程度類似しているか？
• RQ5 GPT-3は、広範な概念の範囲で、解釈可能な意味的特徴規範を自動的に生成するスケーラブルなツールとして利用可能か？

主な発見

• GPT-3は1,854の概念について合計189,126個の特徴を生成したが、フィルタリング後に124,569個に減少し、1概念あたり平均67.35個の特徴が得られた。これは、人間の規範（McRae：13.42、CSLB：35.52）よりも顕著に高い。
• GPT-3の出力における特徴タイプ（例：物理的属性、機能、カテゴリー）の分布は、人間の規範と類似しており、構造的類似性が示された。
• GPT-3が生成した特徴は、THINGSデータセットからの人間の類似性評価を、McRaeおよびCSLBの人間規範と同等の性能で予測した。これは、高いピアソン相関係数によって裏付けられた。
• 分散分割分析の結果、GPT-3と人間規範の間で説明される分散の重なりが強く、GPT-3はMcRae規範が説明する分散の多くを包含し、CSLB規範と同等の割合を説明することが示された。
• フィルタリング済みのGPT-3特徴（11,683個の固有特徴）は、全セットとほぼ同等の予測性能を示した。これは、本手法の堅牢性および効率性を示している。
• 結果から、GPT-3は、類似性判断に必要な共通情報の核となる人間の概念的知識の側面を捉えている可能性が示唆された。