[論文レビュー] High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks

Haohan Wang, Xindi Wu+2 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 69被引用数 43

ひとこと要約

本論文は、CNNが人間には知覚できない高周波の画像成分を利用していることを示し、一般化、ロバスト性と精度のトレードオフ、敵対的脆弱性、学習ヒューリスティクスの効果を説明する。さらに、単純な平滑化ベースの防御法を提案している。

ABSTRACT

We investigate the relationship between the frequency spectrum of image data and the generalization behavior of convolutional neural networks (CNN). We first notice CNN's ability in capturing the high-frequency components of images. These high-frequency components are almost imperceptible to a human. Thus the observation leads to multiple hypotheses that are related to the generalization behaviors of CNN, including a potential explanation for adversarial examples, a discussion of CNN's trade-off between robustness and accuracy, and some evidence in understanding training heuristics.

研究の動機と目的

• 画像の周波数スペクトルがCNNの一般化とどのように関連するかを調査する。
• 周波数の観点から、CNNsがシャッフルされたラベルを記憶できる理由と敵対的脆弱性が生じる理由を説明する。
• 一般的な学習ヒューリスティクスが高周波成分への依存にどのように影響するかを検討する。
• 大幅な再学習を伴わずに敵対的堅牢性を改善する単純な方法を提案する。

提案手法

• 半径rのフーリエベースの閾値処理関数を用いて、入力画像を低周波成分（LFC）と高周波成分（HFC）に分解する。
• CNNが人間が知覚するLFCに加えてHFCにも依存する可能性を示す、モデル理論的枠組みを定義し、CNNが人間が知覚するLFCに加えてHFCにも依存する可能性を示す（Remark 1）。
• HFC主導の表現に基づく精度とロバスト性を結ぶトレードオフの結果（Corollary 1）を導出する。
• CIFAR-10（付録の他のデータセットも含む）で、元のラベルとシャッフルしたラベルでの学習を比較し、さまざまなr値でLFC/HFC入力でテストする、統制された実験を実施する。
• BatchNorm、Mixup、Dropout、敵対的訓練などの学習ヒューリスティクスがLFC/HFCの使用とロバスト性に与える影響を分析する。
• ロバスト性の手段としてカーネル平滑化の概念（第一層のカーネル）を探る（セクション6）。

実験結果

リサーチクエスチョン

• RQ1 入力画像の周波数スペクトルはCNNの一般化と敵対的感受性にどう影響するか？
• RQ2 CNNがラベルをシャッフルしたデータを記憶してしまう理由と、それがLFC対HFCの信号とどのように関連するか。
• RQ3 一般的な学習ヒューリスティクスがモデルの高周波成分への依存度に与える影響は何か？
• RQ4 単純なカーネル平滑化が大幅な精度を失うことなく敵対的堅牢性を改善できるか？
• RQ5 観察された周波数ベースの現象は、画像分類だけでなく物体検出などのタスクにも拡張するか？

主な発見

• CNNは人間が知覚できない高周波成分に依存することがあり、それが非直感的な方法で一般化に寄与する。
• 精度とロバスト性のトレードオフが存在する。HFCを利用するモデルは精度が高い一方で敵対的摂動に対して脆弱になりやすい（Corollary 1）。
• LFCはHFCより一般化性が高い傾向があり、元のラベルで学習したモデルがLFCの手掛かりを好む理由を説明するのに役立つ。
• MixupやBatchNormなどの学習ヒューリスティクスはHFCへの依存を高め、ロバスト性に影響を与える。対敵訓練はHFCへの依存を減らしロバスト性を改善する傾向があるが、精度にはあるコストが伴う。
• 敵対的堅牢なモデルは第一層のカーネルが滑らかである傾向があり、単純なカーネル平滑化操作はクリーン精度に影響を及ぼしつつ堅牢性をささやかに改善できる。
• 周波数の視点は物体検出にも類似の現象を示し、低周波入力と高周波入力で影響が異なる。