[論文レビュー] Spectral Bias in Practice: The Role of Function Frequency in Generalization

Sara Fridovich-Keil, Raphael Gontijo-Lopes+1 more|arXiv (Cornell University)|Oct 5, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、現代の画像分類モデルにおけるスペクトルバイアスを測定する実用的な手法を導入し、高精度なネットワークがクラス内では低周波数関数を学習し、クラス間では高周波数関数を学習することを示している。主な発見は、一般化性能の向上と周波数分離の増大—つまり、クラス内周波数の低減とクラス間周波数の増加—が、CIFAR-10およびImageNetにおける多様な学習環境において相関していることである。

ABSTRACT

Despite their ability to represent highly expressive functions, deep learning models seem to find simple solutions that generalize surprisingly well. Spectral bias -- the tendency of neural networks to prioritize learning low frequency functions -- is one possible explanation for this phenomenon, but so far spectral bias has primarily been observed in theoretical models and simplified experiments. In this work, we propose methodologies for measuring spectral bias in modern image classification networks on CIFAR-10 and ImageNet. We find that these networks indeed exhibit spectral bias, and that interventions that improve test accuracy on CIFAR-10 tend to produce learned functions that have higher frequencies overall but lower frequencies in the vicinity of examples from each class. This trend holds across variation in training time, model architecture, number of training examples, data augmentation, and self-distillation. We also explore the connections between function frequency and image frequency and find that spectral bias is sensitive to the low frequencies prevalent in natural images. On ImageNet, we find that learned function frequency also varies with internal class diversity, with higher frequencies on more diverse classes. Our work enables measuring and ultimately influencing the spectral behavior of neural networks used for image classification, and is a step towards understanding why deep models generalize well.

研究の動機と目的

• 現代の深層学習モデルが、理論的・簡略化された設定とは異なり、実際の画像分類タスクにおいてもスペクトルバイアスを示すかどうかを調査すること。
• 深層ネットワークの学習関数の周波数コンテンツを測定可能かつスケーラブルな方法を開発すること。
• 学習ダイナミクス、データオーグメンテーション、モデルアーキテクチャ、データの多様性が、学習関数のスペクトル的挙動に与える影響を理解すること。
• 画像の周波数コンテンツと、ニューラルネットワークが学習する関数の周波数との関係を調査すること。
• 特にImageNetのような大規模データセットにおいて、クラス内多様性が関数周波数に与える影響を検討すること。

提案手法

• Rahamanら[35]のラベルノイズ法を、CIFAR-10における多クラス分類に適応させるためにラベルスムージングを用いて拡張し、学習関数の周波数分解を可能にした。
• テスト画像間の経路に沿った関数の滑らかさを測定するための線形補間ベースの手法を導入し、クラス内経路とクラス間経路を区別した。
• 補間法をCIFAR-10およびImageNetのモデルに適用し、異なる経路タイプにおける周波数コンテンツを分析した。
• ラベルノイズアプローチを入力空間内の特定の方向に沿って拡張し、自然画像の周波数に敏感なスペクトルバイアスを評価した。
• C-Scoreを用いてクラス内一貫性を定量的に評価し、ImageNetにおけるクラス内関数周波数と相関をとらせた。
• モデルアーキテクチャ、学習期間、データセットサイズ、データオーグメンテーション、自己蒸留の変動を考慮したさまざまな学習条件で、スペクトル挙動を評価した。

実験結果

リサーチクエスチョン

• RQ1 現代の画像分類ネットワークは、理論的・簡略化された設定とは異なり、実際の状況でもスペクトルバイアスを示すのか？
• RQ2 異なる学習環境において、モデルの精度向上に伴い、学習関数の周波数コンテンツはどのように変化するのか？
• RQ3 データオーグメンテーション、モデルアーキテクチャ、学習期間が、スペクトルバイアスにどの程度影響を及ぼすのか？
• RQ4 ImageNetにおけるクラス内多様性は、各クラス内の関数周波数にどのように影響するのか？
• RQ5 自然画像の周波数と、深層ネットワークが学習する関数の周波数の間には、どのような関係があるのか？

主な発見

• CIFAR-10における高精度モデルは明確な周波数分離を示しており、クラス内では低周波数、クラス間では高周波数であり、学習手法の改善に伴いその分離が強化される。
• この周波数分離は、モデルアーキテクチャ、長期学習、大規模データセット、データオーグメンテーション、自己蒸留のすべてにおいて一貫しており、堅牢なトレンドであることが示された。
• ImageNetでは、トレーニングの進行に伴い、クラス内とクラス間の経路間の周波数ギャップが拡大し、内部多様性の高いクラスではより高い周波数が観察された。
• 自然画像の低周波成分に対してモデルがより感受性であることが判明し、スペクトルバイアスが一般的に顕著な画像周波数と一致する方向で最も強く現れた。
• C-Scoreで測定したクラス内多様性が高くなるほど、クラス内関数周波数も上昇する傾向があり、複雑なクラスはより高周波数の関数を必要とすることが示唆された。
• 補間法により、関数周波数が一様に分布しているわけではなく、経路タイプ（クラス内対クラス間）に応じて明確なスペクトル的挙動の差が生じることが明らかになった。