[論文レビュー] From Hard to Soft: Understanding Deep Network Nonlinearities via Vector Quantization and Statistical Inference

Randall Balestriero, Richard G. Baraniuk|arXiv (Cornell University)|Oct 22, 2018

Remote-Sensing Image Classification被引用数 7

ひとこと要約

この論文は、ベクトル量子化（VQ）とガウス・ミックスチャネル・モデル（GMM）を結びつける確率的枠組みを通じて、ReLU、シグモイド、tanh、swish といった広範なディープニューラルネットワークの非線形性を統一的に扱う。ソフト MASO（SMASO）と $\beta$-VQ 推論を導入し、ハード VQ が再帰的アフィン非線形性（ReLU など）に対応するのに対し、ソフト VQ はシグモイド、tanh、ソフトマックスを回復する。特に、線形フィルタに直交性を課すことでネットワークの精度が顕著に向上することを示している。

ABSTRACT

Nonlinearity is crucial to the performance of a deep (neural) network (DN). To date there has been little progress understanding the menagerie of available nonlinearities, but recently progress has been made on understanding the r\\^ole played by piecewise affine and convex nonlinearities like the ReLU and absolute value activation functions and max-pooling. In particular, DN layers constructed from these operations can be interpreted as {\\em max-affine spline operators} (MASOs) that have an elegant link to vector quantization (VQ) and $K$-means. While this is good theoretical progress, the entire MASO approach is predicated on the requirement that the nonlinearities be piecewise affine and convex, which precludes important activation functions like the sigmoid, hyperbolic tangent, and softmax. {\\em This paper extends the MASO framework to these and an infinitely large class of new nonlinearities by linking deterministic MASOs with probabilistic Gaussian Mixture Models (GMMs).} We show that, under a GMM, piecewise affine, convex nonlinearities like ReLU, absolute value, and max-pooling can be interpreted as solutions to certain natural "hard" VQ inference problems, while sigmoid, hyperbolic tangent, and softmax can be interpreted as solutions to corresponding "soft" VQ inference problems. We further extend the framework by hybridizing the hard and soft VQ optimizations to create a $\\beta$-VQ inference that interpolates between hard, soft, and linear VQ inference. A prime example of a $\\beta$-VQ DN nonlinearity is the {\\em swish} nonlinearity, which offers state-of-the-art performance in a range of computer vision tasks but was developed ad hoc by experimentation. Finally, we validate with experiments an important assertion of our theory, namely that DN performance can be significantly improved by enforcing orthogonality in its linear filters.

研究の動機と目的

• ReLU、シグモイド、tanh、swish といった多様なディープニューラルネットワークの非線形性を、一つの理論的枠組みで統一すること。
• 現在の最大アフィンスプライン作用素（MASO）フレームワーク（再帰的アフィンかつ凸非線形性に限る）を、シグモイドやソフトマックスといった非凸的かつ滑らかな関数を含むように拡張すること。
• 決定論的ベクトル量子化（VQ）と確率的ガウス・ミックスチャネル・モデル（GMM）の間の原理的関係を確立し、非線形性を推論問題として解釈すること。
• ハード VQ とソフト VQ、そして線形 VQ の間を連続的に補間する $\beta$-VQ 推論機構を開発し、新たな非線形性の設計と解釈可能性の向上を実現すること。
• 複数のデータセットとアーキテクチャにおいて、線形フィルタに直交性を課すことでディープニューラルネットワークの性能が向上することを実証的に検証すること。

提案手法

• 決定論的 MASO を一般化するため、ガウス・ミックスチャネル・モデル（GMM）に基づく確率的 VQ 推論として解釈するソフト MASO（SMASO）モデルを提案。
• ハード VQ 推論（事後確率の最大化）が再帰的アフィンかつ凸非線形性（ReLU やマックスプールイングなど）に対応することを導出。
• VQ クラスタ所属確率の最大事後確率（MAP）推定に基づくソフト VQ 推論を導入し、シグモイド、双曲正接、ソフトマックスが自然な解として得られることを示した。
• $\beta$-VQ 推論をハード VQ とソフト VQ の間の連続的補間として開発。swish 活性化関数がこのフレームワークの特定の例であることが示された。
• 線形フィルタの直交性を促進するための正則化項を損失関数に導入。さらに、真の直交性を実現するための正確なグラム・シュミット再パラメータ化による検証も実施。
• 因子化 VQ モデルにおける連合 MAP 推論を用いることで計算の tractability を確保。フィルタが直交している場合に理論的保証が得られることを示した。

実験結果

リサーチクエスチョン

• RQ1 再帰的アフィン非線形性（例：ReLU）と滑らかな非線形性（例：シグモイド、swish）を同時に解釈できる統一的理論的枠組みは構築可能か？
• RQ2 ベクトル量子化（VQ）とガウス・ミックスチャネル・モデル（GMM）を用いて、ディープニューラルネットワークの非線形性を解釈・一般化できるか？
• RQ3 ソフト VQ とハード VQ の推論が、既知の非線形性（swish やソフトマックスプールイング）を導出する上で果たす役割は何か？
• RQ4 線形フィルタに直交性を課すことで、ディープニューラルネットワークの性能に顕著な向上が見られるか？
• RQ5 $\beta$-VQ 推論がハード、ソフト、線形 VQ の間を連続的に補間できる仕組みであることを示し、活性化関数設計に与える影響は何か？

主な発見

• swish 非線形性が正式に $\beta$-VQ 非線形性として同定され、その実験的成功の背後にある原理的理論的根拠が得られた。
• ソフト VQ 推論により、シグモイド、双曲正接、ソフトマックスが自然な解として回復され、確率的推論枠組みの下で統一された。
• 全結合層および畳み込み層の線形フィルタに直交性を課すことで、SVHN、CIFAR10、CIFAR100 の各データセットで分類精度が向上した。
• largeCNN モデルでは、グラム・シュミット再パラメータ化により正確な直交性を実現したところ、CIFAR100 で 61.2% の精度を達成。ベースラインの 43.6% より顕著に向上した。
• 直交性ペナルティは、すべての学習率とデータセットで精度向上をもたらし、特に CIFAR100 で最大の向上（例：ペナルティありで 46.1%、なしで 43.6%）を示した。
• フィルタが直交している場合、因子化 VQ モデルにおける連合 MAP 推論は計算が tractable になり、効率的な計算と理論的保証が得られた。