[論文レビュー] Understanding Rare Spurious Correlations in Neural Networks

Yao-Yuan Yang, Chou, Chi-Ning+1 more|arXiv (Cornell University)|Feb 10, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文は、わずか数個の訓練例にのみ現れる「まれな誤った相関」——つまり、神経ネットワークが学習するが本質的でないパターン——がどのように学習されるかを調査し、たった1つの例ですら強力で有害な相関を引き起こす可能性があることを示している。これらの相関がプライバシーとテスト精度を損なうことを示し、データやモデル構造に関する仮定を必要としない入力ノイズとℓ₂正則化による緩和手法を提案している。

ABSTRACT

Neural networks are known to use spurious correlations such as background information for classification. While prior work has looked at spurious correlations that are widespread in the training data, in this work, we investigate how sensitive neural networks are to rare spurious correlations, which may be harder to detect and correct, and may lead to privacy leaks. We introduce spurious patterns correlated with a fixed class to a few training examples and find that it takes only a handful of such examples for the network to learn the correlation. Furthermore, these rare spurious correlations also impact accuracy and privacy. We empirically and theoretically analyze different factors involved in rare spurious correlations and propose mitigation methods accordingly. Specifically, we observe that $\ell_2$ regularization and adding Gaussian noise to inputs can reduce the undesirable effects. Code available at https://github.com/yangarbiter/rare-spurious-correlation.

研究の動機と目的

• 少数の訓練例にのみ現れる誤った相関が、神経ネットワークによって学習されるかどうか、そしてどのように学習されるかを理解すること。
• 分布シフト下でのモデルのプライバシー（メンバーシップ推定攻撃を用いて測定）とテスト精度に、まれな誤った相関が与える影響を調査すること。
• データやモデル構造に関する仮定を必要としない一般化可能な緩和戦略の開発と評価すること。
• メンバーシップ推定攻撃と敵対的ロバストネスの知見を、まれな誤ったパターンに統合すること。
• 最小限の露出でも、まれな誤ったパターンが重大なモデルの脆弱性を引き起こす理論的・実験的証拠を提供すること。

提案手法

• ターゲットクラスの訓練画像のわずかな数に、誤ったパターン（例：色付きの背景）を導入し、「誤った例」としてのデータを生成する。
• 変更されたデータセットでニューラルネットワークを学習し、定義された誤ったスコアを用いて誤った相関の強さを測定する。
• 誤った例の割合と信号対雑音比に基づく、誤った相関学習における段階的転移を分析するための理論的トロイモデルを導入する。
• メンバーシップ推定攻撃を用いてプライバシーリスクを評価し、攻撃者が誤った訓練サンプルとテストデータを区別できる能力を測定する。
• 分布シフト下でのテスト精度を評価するため、クリーンなテスト精度と誤ったパターンをテストセットに追加した際のテスト精度（誤ったテスト精度）を測定する。
• 緩和戦略の有効性を検証する：入力へのガウスノイズ注入、ℓ₂正則化（重み減衰）、勾配クリッピングを比較する。

実験結果

リサーチクエスチョン

• RQ1 誤った例の割合（例：60,000中1例）がどの閾値に達すると、神経ネットワークが誤った相関を強く学習し、顕著に現れるようになるか？
• RQ2 まれな誤った相関は、メンバーシップ推定攻撃の脆弱性を測定することで、モデルのプライバシーにどのように影響するか？
• RQ3 分布シフトが誤ったパターンを優位にすると予想される状況下で、まれな誤った相関はテスト精度にどのように影響するか？
• RQ4 どのような正則化手法が、アプリケーション固有の仮定を必要とせず、まれな誤った相関の悪影響を効果的に緩和できるか？

主な発見

• 60,000個の訓練例のうちたった1つの誤った例を含む学習でも、神経ネットワークはベースラインより顕著に高い誤ったスコアを示し、強い相関学習が行われていることが判明した。
• 誤った例は、メンバーシップ推定攻撃に対して著しく脆弱であることが確認され、まれな誤ったパターンがプライバシー漏洩を引き起こす可能性があることが裏付けられた。
• クリーンなテスト精度はほとんど変化しないが、分布シフト下では誤ったテスト精度が急激に低下し、誤った相関がこのようなパターンが一般的になると性能が劣化することを示した。
• 入力へのガウスノイズ注入とℓ₂正則化は、誤った相関の強さを顕著に低減し、プライバシーやロバストネスを向上させるが、勾配クリッピングは顕著な効果を示さなかった。
• 理論的分析により、誤った例の割合がゼロから増加するに従い、誤った相関学習に急激な段階的転移が生じることが判明し、モデルの記憶の臨界閾値があることが示された。
• 異なる誤ったパターンやモデルアーキテクチャでは感受性に差が見られ、誤った相関の誘導効果はデータセットやモデルの特性に依存することが示唆された。