[論文レビュー] Capacity Control of ReLU Neural Networks by Basis-path Norm

Shuxin Zheng, Qi Meng+4 more|arXiv (Cornell University)|Sep 19, 2018

Machine Learning and ELM参考文献 25被引用数 5

ひとこと要約

この論文は、すべてのパスではなく、線形独立な基本パスの最小集合を用いてモデルの複雑さを測る新しい容量測定指標であるBasis-path Norm（BPノーム）を導入する。このノームを損失関数に正則化することで、画像分類および推薦タスクにおいて、標準的な重み減衰法やパスノームに基づく手法よりも顕著に優れた汎化性能を達成するBasis-path Regularization（BPR）手法を提案する。

ABSTRACT

Recently, path norm was proposed as a new capacity measure for neural networks with Rectified Linear Unit (ReLU) activation function, which takes the rescaling-invariant property of ReLU into account. It has been shown that the generalization error bound in terms of the path norm explains the empirical generalization behaviors of the ReLU neural networks better than that of other capacity measures. Moreover, optimization algorithms which take path norm as the regularization term to the loss function, like Path-SGD, have been shown to achieve better generalization performance. However, the path norm counts the values of all paths, and hence the capacity measure based on path norm could be improperly influenced by the dependency among different paths. It is also known that each path of a ReLU network can be represented by a small group of linearly independent basis paths with multiplication and division operation, which indicates that the generalization behavior of the network only depends on only a few basis paths. Motivated by this, we propose a new norm \emph{Basis-path Norm} based on a group of linearly independent paths to measure the capacity of neural networks more accurately. We establish a generalization error bound based on this basis path norm, and show it explains the generalization behaviors of ReLU networks more accurately than previous capacity measures via extensive experiments. In addition, we develop optimization algorithms which minimize the empirical risk regularized by the basis-path norm. Our experiments on benchmark datasets demonstrate that the proposed regularization method achieves clearly better performance on the test set than the previous regularization approaches.

研究の動機と目的

• パスノームがパスの依存性を考慮しないことによるReLUネットワーク容量測定の限界を解消すること。
• 線形独立な基本パスの最小集合に注目することで、より正確な容量測定指標を構築すること。
• 実験的汎化ギャップをよりよく反映するように、Basis-pathノームに基づく一般化誤差バウンディングを確立すること。
• テスト性能を向上させる新しい正則化手法、Basis-path Regularization（BPR）を設計すること。
• ResNet やMLPベースの推薦システムを含む、多様なアーキテクチャおよびデータセットにおいてBPRの有効性を検証すること。

提案手法

• 論文は、すべての他のパスを乗算および除算の操作によって表現可能な、線形独立なパスの最小集合として基本パスを定義する。
• パス表現における係数に基づき、基本パスを正のタイプと負のタイプに分類する。
• 正および負の基本パスの大きさを制御するようにBasis-path Normを構築し、派生するすべてのパスの値を小さく保つ。
• パスの依存性をより正確に反映できるように、Basis-pathノームに基づく一般化誤差バウンディングを証明する。
• 経験的リスクにBPノームをペナルティ項として追加するBPR手法を提案し、グリッドサーチによるハイパーパrameterチューニングを実施する。
• 標準的な指標（HR@10、NDCG@10、テスト誤差率）を用いて、画像分類（ResNetおよびPlainNetを用いたCIFAR-10）および推薦（MovieLens）タスクの両方で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 基本パスに基づく容量測定は、標準的なパスノームに比べて、実験的汎化ギャップをよりよく反映するか？
• RQ2 Basis-pathノームを用いた正則化は、異なるネットワークアーキテクチャおよびデータセットにおいて汎化性能を向上させられるか？
• RQ3 ネットワークの深さと幅が増加する際、Basis-pathノームバウンディングは他の容量測定指標と比較して、一般化行動をどれほどよく捉えているか？
• RQ4 SGD や Q-SGD といった最適化アルゴリズムと組み合わせたBasis-path正則化は、標準的な重み減衰法やPath-SGDに比べて、より高いテスト精度を達成できるか？
• RQ5 BPRによる汎化の向上は、ラベルのランダムネスやモデルの複雑さの変動に対して一貫しているか？

主な発見

• 標準的なSGDに重み減衰を適用した場合と比較して、PlainNet34では1.8%、ResNet34では1.5%のテスト誤差率の絶対的改善をBasis-path正則化が達成した。
• MovieLens推薦データセットにおいて、BPRはすべての予測要因設定において、Hit Ratio（HR@10）およびNormalized Discounted Cumulative Gain（NDCG@10）の両方で、すべてのベースライン手法を上回った。
• Basis-pathノームに基づく一般化誤差バウンディングは、ネットワークの深さと幅が変化しても、実験的汎化ギャップと一貫性を保ち続けた。これに対して、パスノームバウンディングはネットワークサイズの増加に伴い劣化した。
• Q-SGDとBasis-path正則化の組み合わせは、ResNet34およびPlainNet34の両方で最高のテスト精度を達成し、ResNet34では5.33%のテスト誤差率を記録した。これはベースラインの7.12%を上回った。
• BPRで訓練した場合、訓練損失とテスト損失が類似している中でも、訓練とテスト誤差のギャップが一貫して大きいことから、最適化過程でより良い汎化点に到達していることが示された。
• 深く広いネットワークにおいても、Basis-pathノームはパスの依存性を効果的に制御しており、理論的バウンディングと実験的汎化ギャップの適合性が向上していることが示された。