[論文レビュー] Orthogonal Deep Neural Networks

Kui Jia, Shuai Li+3 more|arXiv (Cornell University)|May 15, 2019

Sparse and Compressive Sensing Techniques参考文献 59被引用数 9

ひとこと要約

本稿では、一般化性能とロバストネスを向上させる理論的裏付けに基づく手法として、直交行列を強制するOrthogonal Deep Neural Networks (OrthDNNs)を提案する。実用的なデータ分布上では深層ニューラルネットワークが局所的に等長的であることを証明し、特異値スペクトルに敏感な一般化誤差バウンドを導出する。その結果、重み行列が直交する場合に最適な性能が達成されることを示す。さらに、効率的かつ近似的な学習を可能にする Singular Value Bounding (SVB) と Bounded Batch Normalization (BBN) を導入し、標準的および劣化したテスト条件下で ImageNet においてベースラインを上回る性能を発揮する。

ABSTRACT

In this paper, we introduce the algorithms of Orthogonal Deep Neural Networks (OrthDNNs) to connect with recent interest of spectrally regularized deep learning methods. OrthDNNs are theoretically motivated by generalization analysis of modern DNNs, with the aim to find solution properties of network weights that guarantee better generalization. To this end, we first prove that DNNs are of local isometry on data distributions of practical interest; by using a new covering of the sample space and introducing the local isometry property of DNNs into generalization analysis, we establish a new generalization error bound that is both scale- and range-sensitive to singular value spectrum of each of networks' weight matrices. We prove that the optimal bound w.r.t. the degree of isometry is attained when each weight matrix has a spectrum of equal singular values, among which orthogonal weight matrix or a non-square one with orthonormal rows or columns is the most straightforward choice, suggesting the algorithms of OrthDNNs. We present both algorithms of strict and approximate OrthDNNs, and for the later ones we propose a simple yet effective algorithm called Singular Value Bounding (SVB), which performs as well as strict OrthDNNs, but at a much lower computational cost. We also propose Bounded Batch Normalization (BBN) to make compatible use of batch normalization with OrthDNNs. We conduct extensive comparative studies by using modern architectures on benchmark image classification. Experiments show the efficacy of OrthDNNs.

研究の動機と目的

• 重み行列の特異値スペクトルと一般化誤差を結びつけることで、深層ニューラルネットワークにおけるスペクトル正則化の理論的裏付けを提供すること。
• 各層の重み行列の特異値スペクトルにスケールおよび範囲に敏感な一般化誤差バウンドを確立すること。
• 局所的等長制約下で一般化誤差を最小化するための最適解が直交重み行列であることを同定すること。
• 標準的な深層学習手法と互換性を持つ計算効率の良いアルゴリズム（SVB および BBN）を考案し、近似的なOrthDNNの学習を可能にすること。
• さまざまなデータサイズおよび劣化入力下で、OrthDNNのロバストネスと一般化性能を実験的に検証すること。

提案手法

• ネットワークが誘導する線形分割に基づく入力空間の新しい被覆を導入し、実用的なデータ分布上での深層ニューラルネットワークの局所的等長性を証明する。
• 各重み行列のスペクトルノルムおよび特異値分布に明示的に依存するPACに基づく一般化誤差バウンドを確立する。
• 各重み行列のすべての特異値が等しい場合に一般化誤差バウンドが最適化されることを示し、直交的または正規直交的行列が理想の解となることを実証する。
• SGD学習中に各重み行列のすべての特異値を1周囲む狭い帯に制約するSingular Value Bounding (SVB) を提案し、効率的な近似的直交性を実現する。
• 正規化統計を制限してスペクトル制約を維持するBounded Batch Normalization (BBN) を導入し、SVBとの互換性を保つ。
• ResNeXtなどの標準アーキテクチャを用い、SVBおよびBBNを適用してモデルを学習し、標準的、小規模データ、劣化入力設定下でのImageNetでの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 重み行列の特異値スペクトルに明示的に依存する、理論的裏付けのある深層ニューラルネットワークの一般化誤差バウンドを導出できるか？
• RQ2 重み行列に等しい特異値（すなわち直交性）を強制することで、深層学習モデルの一般化性能が向上するか？
• RQ3 正確なStiefel多様体最適化の計算コストなしに、直交深層ネットワークの効率的かつ近似的な学習が可能か？
• RQ4 ImageNet-Cのような分布シフトや劣化入力下で、SVBとBBNのロバストネスはどの程度の性能を示すか？
• RQ5 特に低データ環境下で、提案手法はさまざまな学習データサイズにおいても性能向上を維持するか？

主な発見

• 本稿で導出された一般化誤差バウンドは、各重み行列の特異値スペクトルに対してスケールおよび範囲に敏感であり、すべての特異値が等しい場合に最適なバウンドが達成される。
• 実験では、SVBとBBNが、ベースラインのResNeXt-101モデルと比較して、標準評価下でトップ-1誤差を最大1.58%まで低減することが示された。
• ImageNet-Cの劣化度が増すに従い、最高の劣化レベルにおいてSVB+BBN法は、ベースライン比でトップ-1誤差を最大51.26%まで改善した。
• 提案手法は、すべての学習データ規模設定で一貫して性能を向上させ、特に低データ環境（例：学習データの1/10）で最大の相対的利得が観察された。
• Bounded Batch Normalizationは、SVBと併用することで安定した学習を可能にし、一般化に不可欠なスペクトル制約を維持しながら性能の低下を防いだ。
• 理論的分析により、実用的なデータ分布上、深層ニューラルネットワークが局所的に等長的であることが確認され、スペクトル正則化の幾何的基盤が得られた。