[論文レビュー] Distinguishing rule- and exemplar-based generalization in learning systems

Ishita Dasgupta, Erin Grant+1 more|arXiv (Cornell University)|Oct 8, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

本論文は、認知心理学にインspiredされた実験的手順を導入し、機械学習システムにおけるルールベースとエクземプラベースの一般化を区別する。特徴レベルのバイアス（特定の特徴の好ましさ）とエクземプラ対ルールのバイアス（特徴が疎な vs. 密な表現の使用）という2つのインダクティブバイアスを分離することで、標準的なニューラルネットワークが両方のバイアスを持つことが示され、体系的一般化と公平性における限界が浮き彫りになった。

ABSTRACT

Machine learning systems often do not share the same inductive biases as humans and, as a result, extrapolate or generalize in ways that are inconsistent with our expectations. The trade-off between exemplar- and rule-based generalization has been studied extensively in cognitive psychology; in this work, we present a protocol inspired by these experimental approaches to probe the inductive biases that control this tradeoff in category-learning systems. We isolate two such inductive biases: feature-level bias (differences in which features are more readily learned) and exemplar or rule bias (differences in how these learned features are used for generalization). We find that standard neural network models are feature-biased and exemplar-based, and discuss the implications of these findings for machine learning research on systematic generalization, fairness, and data augmentation.

研究の動機と目的

• 機械学習システムが訓練データを超えて一般化する仕組みを規定する2つの主要なインダクティブバイアス—特徴レベルのバイアスとエクzemプラ対ルールのバイアス—を特定し、分離すること。
• 認知心理学にインスパイアされた実験的手順を開発し、これらバイアスを制御的・診断的に行う方法を提供すること。
• 標準的な機械学習モデル（例：ニューラルネットワーク、ガウス過程）が、合成データ、画像、テキストの分野でこれらのバイアスをどのように示すかを評価すること。
• 現在の指標（例：ワーストグループ精度、誤った相関）が、これらの根本的なインダクティブバイアスを十分に捉えていないことを示すこと。
• これらのバイアスが、体系的一般化、公平性、データ拡張における機械学習の実用的応用に与える規範的意味について探求すること。

提案手法

• 分類のラベルを決定する判別的特徴（例：形状）と、因果的に無関係だが訓練データで共起する干渉特徴（例：色）を持つ合成データ生成プロトコルを設計する。
• 正則化とカーネル長尺度パラメータを制御した、多様なモデルファミリー（順方向ニューラルネットワーク（NNs）、線形一般化線形モデル（GLMs）、ガウス過程（GPs））を訓練・評価する。
• エクzemプラ対ルール傾向（EvR）と呼ばれる新しい指標を用い、モデルが訓練例との類似性に基づいて一般化する（エクzemプラベース）か、抽象的ルールに基づいて一般化する（ルールベース）かを定量化する。
• 合成データで特徴の重要性を均等にすることで、特徴レベルのバイアスを制御し、エクzemプラ対ルールバイアスの分離を可能にする。
• CelebAとIMDbといった実世界の分野にプロトコルを適用し、より複雑で自然主義的な設定での一般化行動を評価する。
• 明示的にルールベース（L1正則化付き線形モデル）およびエクzemプラベース（短い長尺度パラメータ付きGPs）のモデルをベンチマークとして用い、プロトコルの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、機械学習システムに内在する2つの異なるインダクティブバイアス—特徴レベルのバイアスとエクzemプラ対ルールのバイアス—を分離し測定できるか？
• RQ2 標準的なニューラルネットワークは、カテゴリ学習タスクにおいてどの程度エクzemプラベースの一般化と特徴レベルのバイアスを示すか？
• RQ3 L1/L2正則化やカーネル長尺度といったモデルのハイパーパrameterは、モデルのエクzemプラ対ルール傾向にどのように影響するか？
• RQ4 現在の公平性および一般化指標（例：ワーストグループ精度、誤った相関）は、モデルの根本的なインダクティブバイアスを十分に捉えているか？
• RQ5 これらのバイアスは、実世界の機械学習応用における体系的一般化、公平性、データ拡張にどのような意味を持つのか？

主な発見

• 標準的なニューラルネットワークは強いエクzemプラベースのバイアスを示し、抽象的ルールではなく訓練例との類似性に基づいて一般化する。
• ニューラルネットワークは特徴に偏っていることも示され、両方が同等に予測的であっても、特定の特徴（例：色ではなく形状）を好む傾向を示した。
• 一般化線形モデルにおけるL1正則化は、エクzemプラ対ルール傾向をゼロにまで低下させ、特徴のスパarsityがルールベースの行動を誘発することを確認した。
• 短い長尺度パラメータを持つガウス過程は高いエクzemプラ傾向を示し、局所的な意思決定境界がエクzemプラベースの一般化を促進することを裏付けた。
• 提案されたEvR指標は、モデルファミリーおよびデータドメインにわたるエクzemプラとルールベース一般化のトレードオフを効果的に捉えた。
• ワーストグループ精度や誤った相関といった既存の指標は、根本的なインダクティブバイアスを診断できず、より洗練された評価プロトコルの必要性を示唆した。