[論文レビュー] Human alignment of neural network representations

Lukas Muttenthaler, Jonas Dippel+3 more|arXiv (Cornell University)|Nov 2, 2022

Face Recognition and Perception被引用数 15

ひとこと要約

本稿では、行動的類似性判断を用いて、ニューラルネットワークの表現が人間のメンタル表現とどの程度一致するかを調査している。モデルスケールやアーキテクチャの影響は最小限であるのに対し、トレーニングデータと目的関数の影響がはるかに重要である。表現の線形変換は、異なるデータセット間でゼロショットでの一致度を顕著に向上させる。また、概念的一致度はカテゴリによって異なる。食事や動物関連の概念はよく表現されているが、王族関連やスポーツ関連の概念はImageNetモデルではうまく捉えられていない。

ABSTRACT

Today's computer vision models achieve human or near-human level performance across a wide variety of vision tasks. However, their architectures, data, and learning algorithms differ in numerous ways from those that give rise to human vision. In this paper, we investigate the factors that affect the alignment between the representations learned by neural networks and human mental representations inferred from behavioral responses. We find that model scale and architecture have essentially no effect on the alignment with human behavioral responses, whereas the training dataset and objective function both have a much larger impact. These findings are consistent across three datasets of human similarity judgments collected using two different tasks. Linear transformations of neural network representations learned from behavioral responses from one dataset substantially improve alignment with human similarity judgments on the other two datasets. In addition, we find that some human concepts such as food and animals are well-represented by neural networks whereas others such as royal or sports-related objects are not. Overall, although models trained on larger, more diverse datasets achieve better alignment with humans than models trained on ImageNet alone, our results indicate that scaling alone is unlikely to be sufficient to train neural networks with conceptual representations that match those used by humans.

研究の動機と目的

• 行動反応から推定される人間のメンタル表現とニューラルネットワーク表現の一致度を評価すること。
• モデルサイズのスケーリングやアーキテクチャの変更が、人間の類似性判断との一致度を向上させるかどうかを特定すること。
• 異なるトレーニングデータセットと目的関数が、人間らしく表現を学習するのに与える影響を評価すること。
• 表現の線形変換が、人間の類似性判断データセット間で一般化可能かどうかを調査すること。
• ニューラルネットワーク特徴量にどの人間の概念がよく、どの概念がうまく表現されていないかを特定すること。

提案手法

• 本研究では、3つのデータセットで人間の類似性判断を収集するために奇数人探しタスクを用い、ペairワイズな画像選択から人間の概念空間を推定している。
• ニューラルネットワーク表現の一致度は、奇数人探しの正答率を用いて評価され、モデルの予測と人間の選択を比較している。
• 線形変換は、あるデータセットで学習させ、保留されたデータセットでの奇数人探し正答率の向上を評価するためのゼロショット一般化の評価を可能にする。
• 人間のメンタル表現のスパースベイジアンモデル（VICE）を用いて、奇数人探しのトリプレットを、その違いを示す概念的次元で分類している。
• CKAスコアとR²スコアを用いて、ImageNet、JFT-3B、画像/テキスト、自己教師ありモデルなど多様なモデルの表現を比較し、人間の概念との一致度を評価している。
• 45のVICE次元にわたってゼロショットおよびプロービング用の奇数人探し正答率を計算し、概念別一致度を評価している。

実験結果

リサーチクエスチョン

• RQ1 モデルスケールの増大やアーキテクチャの変更が、ニューラルネットワーク表現と人間の類似性判断との一致度を向上させるか？
• RQ2 トレーニングデータと目的関数の違いが、ニューラルネットワーク表現の人間の行動反応との一致度にどの程度影響を及えるか？
• RQ3 ある人間の類似性データセットで学習したニューラル表現の線形変換が、他のデータセットでの一致度向上に一般化可能か？
• RQ4 どの人間の概念がニューラルネットワーク特徴量にうまく表現されており、どの概念がうまく表現されていないか？
• RQ5 ImageNetでトレーニングされたモデルと、より大規模で多様なデータセットでトレーニングされたモデルとを比較した場合、人間らしく概念表現を行う能力に差は生じるか？

主な発見

• ImageNetモデルのスケーリングはImageNetの正答率を向上させるが、人間の類似性判断との一致度を一貫して向上させない。一致度の差は主に目的関数とハイパーパrameterに起因し、アーキテクチャや深さ/幅の変更とは無関係である。
• JFT-3B や画像/テキストデータでトレーニングされた、より大規模で多様なデータセットを用いたモデルは、ImageNetのみでトレーニングされたモデルよりも顕著に人間の類似性判断との一致度が高い。
• あるデータセットで学習したニューラル表現の線形変換は、他の2つの人間の類似性判断データセットでゼロショットの奇数人探し正答率を顕著に向上させ、強力な一般化可能性を示している。
• 食事や動物関連の概念はニューラルネットワーク特徴量にうまく表現されているが、王族関連やスポーツ関連のオブジェクトの表現は弱く、特にImageNetモデルでは顕著である。
• ImageNetで優れた性能を示すにもかかわらず、最良のImageNetモデルは、ツール、テクノロジー、紙、液体などの少数の概念において、より大きなモデル（ViT-G/14 JFT）を上回っている。これは概念別バイアスを示している。
• 回帰R²スコアでは、ViT-G/14 JFTおよび画像/テキストモデルが、ImageNetモデルよりもすべての45のVICEカテゴリで人間の概念次元をよりよく適合させている。特に王族関連やスポーツ関連の概念で顕著な向上が見られた。