[論文レビュー] Gromov-Wasserstein unsupervised alignment reveals structural correspondences between the color similarity structures of humans and large language models

Genji Kawakita, Ariel Zeleznikow-Johnston+2 more|arXiv (Cornell University)|Aug 8, 2023

Computational and Text Analysis Methods参考文献 28被引用数 9

ひとこと要約

この論文は、Gromov-Wasserstein最適輸送による教師なしアライメントを用いて、人間と2つのGPTモデル（GPT-3.5とGPT-4）の色相似性構造を比較し、GPT-4の構造が細かなアイテムレベルで色覚ニュートラルな人間と密接に一致することを示しています。

ABSTRACT

Large Language Models (LLMs), such as the General Pre-trained Transformer (GPT), have shown remarkable performance in various cognitive tasks. However, it remains unclear whether these models have the ability to accurately infer human perceptual representations. Previous research has addressed this question by quantifying correlations between similarity response patterns of humans and LLMs. Correlation provides a measure of similarity, but it relies pre-defined item labels and does not distinguish category- and item- level similarity, falling short of characterizing detailed structural correspondence between humans and LLMs. To assess their structural equivalence in more detail, we propose the use of an unsupervised alignment method based on Gromov-Wasserstein optimal transport (GWOT). GWOT allows for the comparison of similarity structures without relying on pre-defined label correspondences and can reveal fine-grained structural similarities and differences that may not be detected by simple correlation analysis. Using a large dataset of similarity judgments of 93 colors, we compared the color similarity structures of humans (color-neurotypical and color-atypical participants) and two GPT models (GPT-3.5 and GPT-4). Our results show that the similarity structure of color-neurotypical participants can be remarkably well aligned with that of GPT-4 and, to a lesser extent, to that of GPT-3.5. These results contribute to the methodological advancements of comparing LLMs with human perception, and highlight the potential of unsupervised alignment methods to reveal detailed structural correspondences. This work has been published in Scientific Reports, DOI: https://doi.org/10.1038/s41598-024-65604-1.

研究の動機と目的

• 人間の知覚色表現を相関分析以上にLLMが推定するかを評価する。
• 人間の色相似性構造とLLMの間の細粒度アイテムレベルの構造的整合性を評価する。
• GPT-4とGPT-3.5をRGBおよびLABの色空間ベースラインおよび色異常参加者と比較する。
• GWOTベースの教師なしアライメントを用いた表現等価性の検証の有用性を示す。

提案手法

• 色覚ニュートリカル（n=426）および色覚異常（n=207）の人間参加者から93色の色相似判断を収集する。
• hexエンコードされた色プロンプトと各ペア5試行を用いてGPT-3.5（gpt-3.5-turbo）およびGPT-4（gpt-4-0314）から色相似判断を取得し、結果を平均化する。
• RGBおよびLAB色空間の類似性マトリクスを、それぞれユークリッド距離とdelta_E_cie2000を用いて作成する。
• 類似性マトリクス間の従来のRSA相関を計算する。
• ラベル対応を仮定せずに類似性構造を整列させるためにGromov-Wasserstein最適輸送（GWOT）を適用する；エントロピー正則化（epsilonは[1e-4,1e-1]）で最適化する。
• GW輸送計画を使用してトップ1およびトップkの一致率でアライメントを評価する。

Figure 1: Schematic of unsupervised alignment. (a) Unsupervised alignment of similarity structures without external labels, based only on similarity relations. (b) Evaluation of unsupervised alignment using external labels. (c) Schematic of Gromov-Wasserstein optimal transport. The elements of matri

実験結果

リサーチクエスチョン

• RQ1 教師なしGWOTアライメントは、人間の色相似性構造とLLMとの間に従来の相関分析を超えた細粒度の対応を明らかにできるか。
• RQ2 どのモデル（GPT-4、GPT-3.5、RGB、LAB）が人間の色知覚構造と最も closely align しているか。
• RQ3 色覚異常参加者は、人間ニュートラルな参加者やLLM、色空間モデルと同様にLLMや色空間モデルと整合するか。
• RQ4 GPT-4の色構造は、教師なしアライメントを考慮した場合、GPT-3.5より人間により近いか。

主な発見

• 色覚ニュートラルな人間の色構造は、教師なしGWOTアライメントの下でGPT-4と極めて良く整合する（トップ1約80%）、人間同士の整合性（約86%）に近い。
• GPT-3.5はGPT-4と比較して整合性が低い（トップ1約31%）。
• 色空間モデル（RGB: 約3.8%トップ1; LAB: 約7.0%トップ1）は、人間の色構造と教師なしでの整合はほとんど示さないが、RSA相関は適度（RGB 0.60, LAB 0.71）を示す。
• GPT-4の教師なし整合はGPT-3.5および色空間ベースラインを上回り、相関だけでは捉えきれない微妙な構造的類似性を示す。
• 色覚異常参加者は相関が低く、整合性も劣る。ニュートロタイプの人間とLLMとは異なる色相似性構造を示す。
• 整列済み埋め込みの可視化は、ニュートロタイプの人間とGPT-4の間で類似した色がクラスタリングされることを示す。

Figure 2: Similarity matrices Displayed are the similarity matrices of 93 colors from two non-overlapping color-neurotypical participants groups, one color-atypical participants group, GPT-4, GPT-3.5, and the RGB and LAB color space models. All matrices are normalized to have values between 0 and 1.