[論文レビュー] Deep neural networks are robust to weight binarization and other non-linear distortions

Paul Merolla, Rathinakumar Appuswamy+3 more|arXiv (Cornell University)|Jun 7, 2016

Advanced Neural Network Applications参考文献 27被引用数 77

ひとこと要約

この論文は、重みの射影（バイナリゼーション、クリッピング、確率的区間射影など）を用いて訓練された深層ニューラルネットワーク（DNN）が、加法的および乗法的ノイズを含む広範な非線形歪みに対して頑健であることを示している。本研究では、データ拡張なしでCIFAR-10で7.64%のテスト誤差を達成する、最先端の性能を示す新しい確率的射影ルールを提案しており、訓練中に明示的な量子化が行われなくても、頑健性が出現することを示している。

ABSTRACT

Recent results show that deep neural networks achieve excellent performance even when, during training, weights are quantized and projected to a binary representation. Here, we show that this is just the tip of the iceberg: these same networks, during testing, also exhibit a remarkable robustness to distortions beyond quantization, including additive and multiplicative noise, and a class of non-linear projections where binarization is just a special case. To quantify this robustness, we show that one such network achieves 11% test error on CIFAR-10 even with 0.68 effective bits per weight. Furthermore, we find that a common training heuristic--namely, projecting quantized weights during backpropagation--can be altered (or even removed) and networks still achieve a base level of robustness during testing. Specifically, training with weight projections other than quantization also works, as does simply clipping the weights, both of which have never been reported before. We confirm our results for CIFAR-10 and ImageNet datasets. Finally, drawing from these ideas, we propose a stochastic projection rule that leads to a new state of the art network with 7.64% test error on CIFAR-10 using no data augmentation.

研究の動機と目的

• 重みの射影を用いて訓練された深層ニューラルネットワークが、訓練時に使用された歪みとは異なる種類の歪みに対しても頑健であるかどうかを調査すること。
• 量子化されていない重みの射影、あるいは単なる重みクリッピングのみを用いても、頑健なモデルが得られるかどうかを特定すること。
• 画像分類ベンチマークにおける頑健性と性能を向上させる新しい確率的射影ルールを開発すること。
• CIFAR-10やImageNetを含む複数のデータセットにおいて、頑健性と性能の向上を検証すること。
• このような頑健性が誤差逆伝播における歪んだ勾配の下でなぜ出現するのか、その理論的裏付けを明らかにすること。

提案手法

• 著者らは、各重みをその現在値を中心とするランダムな区間に射影する、確率的射影ルールを導入している。これは、離散的な量子化レベルへの射影とは異なり、連続的な区間への射影である。
• 訓練中は、前向きおよび逆向きの伝搬で射影された重みが使用されるが、真の重みは勾配降下法により更新される。
• 射影関数における確率性が勾配の平滑化をもたらし、これによりさまざまな歪みに対して頑健な解に収束する。
• 本手法は、CIFAR-10およびImageNetにおける標準的なDNNを用いて評価され、異なる射影タイプやクリッピング戦略に関するアブレーションスタディが実施された。
• 理論的分析では、確率的射影のおかげで誤差表面が平滑化され、期待損失を最小化する訓練目的が定式化された。
• 訓練の進行に従い、射影におけるノイズスケールを段階的に低下（冷却）することで、徐々に確率性を減じ、標準的な誤差逆伝播に収束させる戦略が提案された。

実験結果

リサーチクエスチョン

• RQ1 量子化されていない重みの射影を用いて訓練されたDNNは、依然として重みの歪みに対して頑健性を示すのか？
• RQ2 量子化や射影を明示的に行わない状況でも、重みクリッピングのみで訓練した場合、歪みに対して最低限の頑健性が得られるのか？
• RQ3 重みをランダムな区間に射影する確率的射影ルールが、従来の量子化ベースの手法を上回る性能を発揮できるのか？
• RQ4 テスト時に観察された頑健性は、加法的ノイズや乗法的ノイズを含む、さまざまな種類の歪みに対して一般化可能なのか？
• RQ5 確率的重み射影が誤差表面をどのように平滑化させ、一般化性能を向上させるのか、その理論的メカニズムは何か？

主な発見

• 提案された確率的射影ルールを用いて訓練したResNet-56モデルは、データ拡張なしでCIFAR-10で7.64%のテスト誤差を達成し、バイナリ重みネットワークにおける新たなSOTAを樹立した。
• 重みあたり0.68有効ビットという極めて低い精度でも、ネットワークはCIFAR-10で11%のテスト誤差を達成しており、低精度表現に対しても極めて頑健であることが示された。
• 量子化や射影を一切行わない状況でも、重みクリッピングのみで訓練したネットワークは、歪みに対して最低限の頑健性を示したが、完全な射影を用いた場合に比べて性能はわずかに低かった。
• バイナリゼーションに限らない頑健性が確認された：ある歪み（例：量子化）で訓練されたネットワークは、関係のない歪み（例：加法的・乗法的ノイズ）に対しても良好な性能を示した。
• 理論的分析により、確率的射影が誤差表面を平滑化し、訓練中により安定的かつ一般化可能な解に収束することを確認した。
• CIFAR-10に加え、ImageNetにおいても同様の頑健性と性能向上が、複数のネットワークアーキテクチャおよび射影戦略で観察された。