[論文レビュー] Exploring Alignment of Representations with Human Perception

Vedant Nanda, Ayan Majumdar+5 more|arXiv (Cornell University)|Nov 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 2

ひとこと要約

本論文では、機械学習モデルの評価において、学習された表現が人間の知覚とどの程度一致するかを測定することを提案している。表現の逆問題を用いて人間の知覚と類似した入力を生成し、人間のアンケート調査を実施して類似度を定量化する。主な貢献は、モデルの信頼性や学習パラダイム、損失関数、データ拡張の影響を人間の知覚に類似した表現学習にどのように与えるかを明らかにする、知覚的一致性指標である。

ABSTRACT

We argue that a valuable perspective on when a model learns extit{good} representations is that inputs that are mapped to similar representations by the model should be perceived similarly by humans. We use extit{representation inversion} to generate multiple inputs that map to the same model representation, then quantify the perceptual similarity of these inputs via human surveys. Our approach yields a measure of the extent to which a model is aligned with human perception. Using this measure of alignment, we evaluate models trained with various learning paradigms (\eg~supervised and self-supervised learning) and different training losses (standard and robust training). Our results suggest that the alignment of representations with human perception provides useful additional insights into the qualities of a model. For example, we find that alignment with human perception can be used as a measure of trust in a model's prediction on inputs where different models have conflicting outputs. We also find that various properties of a model like its architecture, training paradigm, training loss, and data augmentation play a significant role in learning representations that are aligned with human perception.

研究の動機と目的

• 機械学習モデルが人間の知覚と一致する表現を学習しているかどうかを評価すること。
• 標準的な正答率や損失関数の指標を超えたモデル表現の評価におけるギャップを埋めること。
• 異なる学習パラダイムや損失関数が知覚的一致性に与える影響を調査すること。
• 曖昧な予測や矛盾する予測において、モデルの信頼性を人間中心の評価指標で提供すること。

提案手法

• 同じモデル表現にマッピングされる複数の入力を表現の逆問題を用いて生成すること。
• 人間の知覚によるこれらの逆問題入力の類似度を測定するために、人間の知覚アンケート調査を実施すること。
• 人間がアノテートした逆問題入力ペアの類似度スコアの平均値として、知覚的一致性を定量化すること。
• 教師あり、自己教師あり、標準的、ロバストな学習目的で訓練された多様なモデルを評価すること。
• モデルアーキテクチャ、学習損失、データ拡張、学習パラダイムが知覚的一致性に与える影響を分析すること。
• 得られた一致スコアを、モデル表現が人間のものにどの程度に近いかを示す代理指標として使用すること。

実験結果

リサーチクエスチョン

• RQ1 人間が類似すると感じる入力に対して、モデル表現が類似した表現にマッピングされる程度はどの程度か？
• RQ2 教師あり学習と自己教師あり学習の間で、学習パラダイムの選択が表現の知覚的一致性にどのように影響するか？
• RQ3 標準的損失とロバスト損失の違いが、モデル表現の知覚的一致性にどのように影響するか？
• RQ4 知覚的一致性は、複数のモデルが矛盾する予測を出す状況において、信頼性の指標として信頼できるか？
• RQ5 データ拡張とモデルアーキテクチャは、人間の知覚と一致する表現を形成する上で果たす役割は何か？

主な発見

• 自己教師あり学習で訓練されたモデルは、標準的な教師あり学習で訓練されたモデルよりも高い知覚的一致性を示した。
• ロバストな学習は、標準的な学習に比べて、人間の知覚とより一致する表現を生成した。
• 複数のモデルが矛盾する予測を出す状況において、知覚的一致性は信頼性の指標として機能する可能性がある。
• データ拡張とモデルアーキテクチャは、学習された表現における知覚的一致性の度合いに顕著な影響を与えた。
• 知覚的一致性指標は、標準的な評価指標では捉えきれない、表現の質的差異を明らかにした。