[論文レビュー] Separation and Concentration in Deep Networks

J. Zarka, Florentin Guth+1 more|arXiv (Cornell University)|Dec 18, 2020

Machine Learning and ELM参考文献 35被引用数 4

ひとこと要約

この論文は、タイトフレーム上での整流化およびソフトスレッショーディング操作を用いて、分類のための数学的に根拠のあるメカニズムを提案している。この手法により、クラス平均の分離とクラス内ばらつきの集中が別々に行われる。1×1畳み込みタイトフレームを学習したバイアスフリーのスキャatteringネットワークを導入し、CIFAR-10およびImageNetでResNet-18と同等の精度を達成した。これは、学習されたバイアスや複雑なフィルタを用いずに高精度を達成可能であることを示している。

ABSTRACT

Numerical experiments demonstrate that deep neural network classifiers progressively separate class distributions around their mean, achieving linear separability on the training set, and increasing the Fisher discriminant ratio. We explain this mechanism with two types of operators. We prove that a rectifier without biases applied to sign-invariant tight frames can separate class means and increase Fisher ratios. On the opposite, a soft-thresholding on tight frames can reduce within-class variabilities while preserving class means. Variance reduction bounds are proved for Gaussian mixture models. For image classification, we show that separation of class means can be achieved with rectified wavelet tight frames that are not learned. It defines a scattering transform. Learning $1 imes 1$ convolutional tight frames along scattering channels and applying a soft-thresholding reduces within-class variabilities. The resulting scattering network reaches the classification accuracy of ResNet-18 on CIFAR-10 and ImageNet, with fewer layers and no learned biases.

研究の動機と目的

• 深層ネットワークのトレーニング過程で観察される「ニューラルコラプス」現象——すなわち、クラス平均が次第に分離され、クラス内ばらつきが集中する——を数学的メカニズムで説明すること。
• 符号不変タイトフレーム上に整流線形ユニット（ReLUs）を適用することで、フィッシャー判別比が向上し、クラス分離性が向上することを証明すること。
• ガウス混合モデルにおけるタイトフレーム上でのソフトスレッショーディングを用いたクラス内共分散低減の理論的限界を確立すること。
• 学習されたバイアスを一切含まないウェーブレットベースのスキャattering変換を用いた、1×1畳み込みタイトフレームを学習することで、最先端の分類精度を達成できることを示すこと。
• スキャatteringチャネル上に交互に整流化（ReLU）とソフトスレッショーディング層を配置することで、平均分離とばらつき集中を統合するディープスキャatteringネットワークアーキテクチャを開発すること。

提案手法

• 本手法は2層構造のネットワークを用い、表現は $\Phi = \rho F$ として形成される。ここで $F$ は $F^T F = \mathrm{Id}$ を満たすタイトフレームであり、$\rho$ は点単位の非線形関数である。
• クラス平均分離のため、ReLU非線形関数 $\rho_r(u) = \max(u, 0)$ を $F$ に適用する。$F$ が符号不変である場合、フィッシャー判別比が向上する。
• クラス内ばらつきの集中のため、ソフトスレッショーディング $\rho_t(u)$ を $F$ に適用し、スパarsity仮定の下でクラス平均を保持しながら共分散を低減する。
• スキャattering変換は、学習されていないウェーブレットタイトフレーム $F_w$ を用い、その後にReLU活性化関数とプーリングを適用し、初期表現 $P_j B_N \rho_r F_w$ を形成する。
• クラス内分散をさらに低減するため、スキャatteringチャネルに沿って $1\times1$ 畳み込みタイトフレーム $F_j$ を学習し、その後にソフトスレッショーディング $\rho_t$ を適用し、次に次元削減のため $F_j^T$ を適用する。
• 最終的なアーキテクチャは、深層スキャatteringネットワーク $S_C = \prod_{j=1}^J (F_j^T \rho_t F_j)(P_j B_N \rho_r F_w)$ であり、交互に平均分離と分散集中を行う層を経て、ロジスティック分類器を適用する。

実験結果

リサーチクエスチョン

• RQ1 タイトフレーム上に整流化非線形関数を適用することで、深層ネットワーク学習中に観察されるフィッシャー判別比の上昇を数学的に説明できるか？
• RQ2 タイトフレーム上でのソフトスレッショーディングは、ガウス混合モデルにおいてクラス内共分散を低減可能であり、かつクラス平均を保持できるか？また、その低減の理論的限界は何か？
• RQ3 学習されていないフィルタを用いたウェーブレットベースのスキャattering変換は、十分なクラス平均分離を達成でき、高精度な分類を可能にするか？
• RQ4 スキャatteringチャネルに沿って $1\times1$ 畳み込みタイトフレームを学習することで、クラス内ばらつきの集中が顕著に進み、最先端の性能を達成できるか？
• RQ5 隠れ層に学習されたバイアスを一切含まないディープスキャatteringネットワークは、標準ベンチマークでResNet-18と同等の精度を達成できるか？

主な発見

• 提案されたスキャatteringネットワークでは、層を経るごとにフィッシャー判別比が増加し、CIFAR-10では層0で1.8から層8で40にまで上昇する。これは強力なクラス分離を示している。
• 学習された $1\times1$ 畳み込みタイトフレーム上でのソフトスレッショーディングの適用により、投影スキャatteringベースラインと比較して分類誤差が約40％低減された。
• 集中型スキャatteringネットワーク $S_C$ は、CIFAR-10で3.4％のテスト誤差、ImageNetで18.9％のテスト誤差を達成し、ResNet-18と同等の性能を示した。
• 閾値付き整流化関数 $\rho_{rt}(u) = \max(u - \lambda, 0)$ で $\lambda = \sqrt{d/p}$ を設定した場合、CIFAR-10およびImageNetの両方でソフトスレッショーディング $\rho_t$ よりわずかに優れた誤差率を示した。
• 1×1畳み込み演算子と隠れ層のバイアスなしで高精度を達成した。これは、学習がフレーム射影とスレッショーディングに集約可能であることを示している。
• 理論的境界では、適切なスパarsity条件下でタイトフレーム上でのソフトスレッショーディングが、ガウス混合モデルにおけるクラス内共分散を低減できることを示し、ばらつき集中の数学的基盤を提供した。