[論文レビュー] Predicting Human Similarity Judgments Using Large Language Models

Raja Marjieh, Ilia Sucholutsky+3 more|arXiv (Cornell University)|Feb 9, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、テキスト記述と大規模言語モデルを用いて人間の類似性判断を予測するスケーラブルでドメインに依存しない手法を提案する。データの必要量を二次関数的スケーリングから線形スケーリングに削減する。BERTとConceptNet NumberBatchの埋め込みを活用することで、従来のCNNベースの手法を上回り、言語モデルからの意味的表現が人間の類似性判断を効果的に捉えられることを示している。

ABSTRACT

Similarity judgments provide a well-established method for accessing mental representations, with applications in psychology, neuroscience and machine learning. However, collecting similarity judgments can be prohibitively expensive for naturalistic datasets as the number of comparisons grows quadratically in the number of stimuli. One way to tackle this problem is to construct approximation procedures that rely on more accessible proxies for predicting similarity. Here we leverage recent advances in language models and online recruitment, proposing an efficient domain-general procedure for predicting human similarity judgments based on text descriptions. Intuitively, similar stimuli are likely to evoke similar descriptions, allowing us to use description similarity to predict pairwise similarity judgments. Crucially, the number of descriptions required grows only linearly with the number of stimuli, drastically reducing the amount of data required. We test this procedure on six datasets of naturalistic images and show that our models outperform previous approaches based on visual information.

研究の動機と目的

• ペairwise比較を必要としない、スケーラブルでドメインに依存しない人間の類似性判断予測手法の開発。
• 刺激数の増加に伴い二次関数的に増加する類似性行列のデータ収集負荷の低減。
• 言語的記述と事前学習済み言語モデルが、視覚モデルと同等の精度で人間の類似性判断を予測できるかどうかの検証。
• 言語モデルベースの予測器の性能を、従来のCNNベースのアプローチと比較すること。
• BERT表現と人間の類似性の精神的表象との整合性の程度を調査すること。

提案手法

• 刺激のための言語的記述（意味的ラベルまたは自由記述）を収集するか、事前に用意されたものを使用する。
• 事前学習済み言語モデル（ConceptNet NumberBatch（CNNB）とBERT）を用いて、テキスト記述をベクトル表現に埋め込む。
• 埋め込み表現ベクトル間のコサイン類似度を用いて、ペアワイズ類似度を計算する。
• CNNB（概念レベル）とBERT（詳細なテキスト）表現を統合し、性能向上を図る共同予測器を構築する。
• 予測された類似性行列の可視化と解釈のため、多次元尺度構成（MDS）を用いる。
• 先行研究（Peterson et al., 2018）のCNNベースのベースラインと比較して、モデルの性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 従来のペアワイズ収集に比べて、テキスト記述と事前学習済み言語モデルを用いることで、人間の類似性判断をより効率的に予測できるか？
• RQ2 BERTとConceptNet NumberBatchの埋め込み表現は、CNNの視覚的表現と比較して、人間の類似性判断をどの程度正確に予測できるか？
• RQ3 言語モデルベースの予測が、自然主義的画像データセットにおける解釈可能な意味的構造をどの程度捉えられるか？
• RQ4 知覚的類似性（CNN）と意味的類似性（言語モデル）の間に乖離が生じるか、それらは人間認知に関する何を明らかにするか？
• RQ5 概念レベルと詳細なテキスト表現の両方を併用することで、予測精度が向上するか？

主な発見

• 本手法により、ペアワイズ類似性判断の代わりにテキスト記述を用いることで、データ要件を二次関数的スケーリングから線形スケーリングに削減できた。
• BERTとCNNBを統合したモデルは、6つのテスト済み画像データセットすべてで、個々のモデルおよび従来のCNNベースのアプローチを上回った。
• 予測された類似性行列のMDS可視化から、自然および機能的カテゴリー、色の勾配といった解釈可能な意味的組織が明らかになった。
• CNNとCNNBの予測に乖離が観察された。これは、人間がなじみのない物体に対しては低レベルの知覚的特徴に依存するのに対し、なじみのある物体に対しては意味的特徴に依存する可能性を示唆している。
• 人間の類似性判断が意味的理解に基づいているという仮説を支持する結果であり、BERTのような言語モデルがこの構造を効果的に捉えられることを示している。
• 本アプローチにより、類似性行列の効率的予測が可能となり、より大規模で自然主義的なデータセットへの類似性研究のスケーリングが現実可能になった。