[論文レビュー] Distinguishing representational geometries with controversial stimuli: Bayesian experimental design and its application to face dissimilarity judgments

Tal Golan, Wenxuan Guo+2 more|arXiv (Cornell University)|Nov 28, 2022

Face Recognition and Perception被引用数 4

ひとこと要約

本論文は、ニューラルネットワークモデルの表現幾何学を効率的に区別できる、議論を引き起こす刺激セットを生成するベイジアン実験設計手法を提案する。顔の類似度判断におけるモデルの識別を最適化することで、3D顔レンダラーを逆方向に学習させるニューラルネットワークが、分類、識別、自己符号化タスクで学習させた同等のモデルよりも、人間の知覚的判断と整合性が高いことを示している。

ABSTRACT

Comparing representations of complex stimuli in neural network layers to human brain representations or behavioral judgments can guide model development. However, even qualitatively distinct neural network models often predict similar representational geometries of typical stimulus sets. We propose a Bayesian experimental design approach to synthesizing stimulus sets for adjudicating among representational models efficiently. We apply our method to discriminate among candidate neural network models of behavioral face dissimilarity judgments. Our results indicate that a neural network trained to invert a 3D-face-model graphics renderer is more human-aligned than the same architecture trained on identification, classification, or autoencoding. Our proposed stimulus synthesis objective is generally applicable to designing experiments to be analyzed by representational similarity analysis for model comparison.

研究の動機と目的

• 標準の刺激セットでテストされた、質的に異なるニューラルネットワークモデルが予測する類似な表現幾何学の課題に対処すること。
• 異なるニューラルネットワークモデルの表現幾何学を効率的に区別できるように、予測が食い違う「議論を引き起こす」刺激を生成する刺激合成手法を開発すること。
• 人間の行動的顔の類似度判断のモデルを、表現類似度分析を用いて比較するために、この手法を応用すること。
• 人間参加者による行動実験とアブレーションスタディを通じて、手法の有効性を検証すること。
• この刺激最適化目的が、顔認識を超えた脳活動や行動的判断を測定するRSAベースの実験へ一般化可能であることを示すこと。

提案手法

• 本手法は、実験パrameterではなく、刺激セット自体を最適化するためにベイジアン最適実験設計（BOED）を用いる。
• 各モデルが自ら生成したデータを予測する際の、他の最良の代替モデルに対する期待される優位性を最大化するグローバルなユーティリティ関数を定式化する。
• 誤ったモデルの回復を強調し、他のモデルのデータをうまく予測できないモデルを罰するため、f(x) = -e^(-10x) という飽和関数を用いる。
• 局所的最適化によりグローバル最適解を避けるために、バーゼル顔モデルを用いて3D顔モデルの形状とテクスチャ成分の両方を最適化して刺激を生成する。
• 固定RSA（重みなし表現幾何学）と重みを推定する柔軟なモデルの両方をサポートする。
• アブレーションスタディでは、形状のみまたはテクスチャのみを最適化する影響、単一または複数のモデルインスタンスの使用、およびモデル性能のための代替プーリング関数の影響をテストする。

実験結果

リサーチクエスチョン

• RQ1 類似的な表現幾何学を予測する質的に異なるニューラルネットワークモデルを効率的に区別できる、議論を引き起こす刺激を生成する刺激合成手法を開発できるか？
• RQ2 3D顔レンダラーを逆方向に学習させるニューラルネットワークが、分類、識別、自己符号化タスクで学習させたモデルと比較して、人間の顔の類似度判断とより整合性の高い表現幾何学を示すか？
• RQ3 本手法は、刺激セットの初期化や最適化コンポonentsの変化に対してどれほど頑健か？
• RQ4 異なるモデル性能プーリング関数が、実験設計におけるモデル回復精度にどの程度の影響を及ぼすか？
• RQ5 本手法で提案された刺激最適化目的は、顔認識を超えた、脳活動や行動的判断を測定するRSAベースの実験へ一般化可能か？

主な発見

• 3D顔モデルグラフィックスレンダラーを逆方向に学習させるニューラルネットワークが、識別、分類、自己符号化タスクで学習させたモデルと比較して、人間の知覚的類似度判断との整合性が顕著に高かった。
• 形状とテクスチャの両方を最適化した刺激が、最高のモデル回復精度を示した。一方、形状のみを最適化した場合、性能が著しく低下した。
• 最適化中に複数のモデルインスタンスを使用することで、単一インスタンスを使用した場合と比較して、より頑健で正確な結果が得られた。
• f(x) = -e^(-10x) という飽和関数は、恒等関数よりも変動を低減し、特に正しい予測に対する過信を罰することで、モデル識別を向上させた。
• 代替モデル性能のためのハードマックスプーリング関数が、滑らかでないにもかかわらず、最高のモデル回復精度を達成した。
• 本手法は再現性を示した：異なる乱数シードで生成された第二の議論を引き起こす刺激セットでも一貫した結果が得られ、3D逆方向モデルが再びすべての他のモデルを上回った。