[論文レビュー] Alignment with human representations supports robust few-shot learning

Ilia Sucholutsky, Thomas L. Griffiths|arXiv (Cornell University)|Jan 27, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、人間の認知構造との表象的整合性が、視覚モデルにおける少数ショット学習と頑健性を向上させることを提案している。情報理論的枠組みと491モデルの実証的分析を用いて、整合性とパフォーマンスの間にU字型の関係が存在することが判明した——中程度の整合性を持つモデルよりも、高・低両方の整合性を持つモデルが優れている。この結果は、人間の整合性を持つモデルが一般化性能が高く、敵対的例やドメインシフトに対しても耐性があることを示している。

ABSTRACT

Should we care whether AI systems have representations of the world that are similar to those of humans? We provide an information-theoretic analysis that suggests that there should be a U-shaped relationship between the degree of representational alignment with humans and performance on few-shot learning tasks. We confirm this prediction empirically, finding such a relationship in an analysis of the performance of 491 computer vision models. We also show that highly-aligned models are more robust to both natural adversarial attacks and domain shifts. Our results suggest that human-alignment is often a sufficient, but not necessary, condition for models to make effective use of limited data, be robust, and generalize well.

研究の動機と目的

• 人間の認知構造との表象的整合性が、少数ショット学習タスクにおけるモデルパフォーマンスを向上させるかどうかを調査すること。
• 人間の整合性を持つ表象が、データが限られる状況下での一般化に有効なインダクティブバイアスとして機能するかどうかを特定すること。
• 人間の整合性を持つモデルの自然な敵対的例およびドメインシフトに対する頑健性を評価すること。
• 先行研究における表象的整合性の利点に関する矛盾する結果を解消し、パフォーマンスと非単調な関係を同定すること。
• 表象的整合性が、視覚タスクにおける望ましいモデル行動を実現するための十分条件ではあるが、必要条件ではないかどうかを調査すること。

提案手法

• 人間との表象的整合性に基づいた、発現的行動を予測する情報理論的枠組みを開発した。
• 1200名の参加者による42万5千組の刺激ペアの類似性判断を用いて、表象的整合性を測定した。
• 下流の少数ショット学習、敵対的頑健性、ドメインシフトタスクにおいて、491体の大型コンピュータビジョンモデルを訓練・評価した。
• 三つ組ベースの教師あり学習を用いて、モデル比較における人間らしい推論を模倣した。
• 表象的類似性分析（RSA）を適用し、モデルと人間の潜在的表象の間の整合性を定量化した。
• 事前学習パフォーマンスを補正するアブレーションスタディを実施し、整合性の影響を隔離した。

実験結果

リサーチクエスチョン

• RQ1 人間との表象的整合性は、少数ショット学習パフォーマンスの向上に寄与するか？
• RQ2 情報理論的枠組みの予測通り、整合性とモデルパフォーマンスの間に非単調な関係が存在するか？
• RQ3 人間の整合性を持つモデルは、自然な敵対的例およびドメインシフトに対してより頑健であるか？
• RQ4 表象的整合性は、頑健な一般化のための必要条件であるか？それとも、非整合性を持つモデルも同様に優れた性能を発揮できるか？
• RQ5 個々の人の表象と集団の平均表象のどちらが、モデルの整合性およびパフォーマンスにより大きな影響を与えるか？

主な発見

• 表象的整合性と少数ショット学習パフォーマンスの間にU字型の関係が存在する：事前学習精度を補正した後でも、高・低両方の整合性を持つモデルが中程度の整合性を持つモデルを上回る。
• 人間の整合性を持つモデルは、主データセットの事前学習精度に依存せず、自然な敵対的例に対して顕著に高い頑健性を示す。
• 人間の整合性を持つモデルはドメインシフトに対してより耐性があり、分布の変化に対しても中程度の整合性を持つモデルよりもパフォーマンスを維持しやすい。
• 極めて高い整合性を持つモデルは、すべての3つの評価タスク（少数ショット学習、敵対的頑健性、ドメインシフト）で最高のパフォーマンスを達成しており、整合性がこれらの利点をもたらす十分条件であるが、必要条件ではないことを確認した。
• U字型のパターンは、先行研究における矛盾を説明するものであり、高整合性スコアを示しても中程度の整合性を持つモデルがしばしば性能を発揮しない理由を解明している。
• 人間の整合性を持つ表象を用いて訓練されたモデルは、一般化性能が向上しており、限られたデータ学習における強力なインダクティブバイアスを提供していることが示唆される。