[論文レビュー] On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization

Pengtao Xie, Yuntian Deng+1 more|arXiv (Cornell University)|Nov 23, 2015

Neural Networks and Applications参考文献 52被引用数 23

ひとこと要約

本稿では、推定誤差と近似誤差のバランスを取ることで汎化性能を向上させるために、相互角正則化（MAR-NN）を用いた多様性のあるニューラルネットワークを提案する。理論的分析により、隠れユニットの多様性を高めると推定誤差は低下するが近似誤差は増加するというトレードオフが生じ、最適な多様性レベルで汎化性能が最適化されることを示し、200ユニットのニューラルネットワークにおいて、精度が顕著に向上する実験的妥当性が確認された。

ABSTRACT

Recently diversity-inducing regularization methods for latent variable models (LVMs), which encourage the components in LVMs to be diverse, have been studied to address several issues involved in latent variable modeling: (1) how to capture long-tail patterns underlying data; (2) how to reduce model complexity without sacrificing expressivity; (3) how to improve the interpretability of learned patterns. While the effectiveness of diversity-inducing regularizers such as the mutual angular regularizer has been demonstrated empirically, a rigorous theoretical analysis of them is still missing. In this paper, we aim to bridge this gap and analyze how the mutual angular regularizer (MAR) affects the generalization performance of supervised LVMs. We use neural network (NN) as a model instance to carry out the study and the analysis shows that increasing the diversity of hidden units in NN would reduce estimation error and increase approximation error. In addition to theoretical analysis, we also present empirical study which demonstrates that the MAR can greatly improve the performance of NN and the empirical observations are in accordance with the theoretical analysis.

研究の動機と目的

• 多様性誘導正則化、特に相互角正則化（MAR）がニューラルネットワークの汎化性能に与える影響を理論的に分析すること。
• 潜在変数モデルにおける多様性促進正則化子の実験的成功の背後にある、きめ細やかな理論的理解の欠如に応えること。
• ニューラルネットワークにおける隠れユニットの多様性の関数として、推定誤差と近似誤差のトレードオフを確立すること。
• 理論的発見を、さまざまな正則化強度（λ）におけるニューラルネットワーク性能の実験的評価を通じて検証すること。

提案手法

• 隠れユニットの重みベクトル間の角度が小さくなりすぎないよう正則化項を課すことで多様性を強制する、相互角正則化（MAR-NN）を用いた多様性のあるニューラルネットワークアーキテクチャを導入する。
• 一般化誤差を推定誤差と近似誤差の成分に分解する理論的枠組みを用い、これらが隠れユニットの多様性レベルにどのように依存するかを分析する。
• 推定誤差と近似誤差の境界を導出し、多様性を高めると推定誤差は低下するが近似誤差は増加することを示す。
• 分類タスクにおけるMAR-NNの実験的評価を行い、正則化強度（λ）を変化させた場合の標準的ニューラルネットワークと性能を比較する。
• 全体の一般化誤差を最小化する多様性レベルを特定するために、正則化ハイパーパrameter λ を最適化する。

実験結果

リサーチクエスチョン

• RQ1 相互角正則化はニューラルネットワークにおける推定誤差と近似誤差にどのように影響するか？
• RQ2 隠れユニットの多様性が増加するにつれて、推定誤差と近似誤差のトレードオフはどのように変化するか？
• RQ3 全体の一般化誤差を最小化する最適な多様性レベルを特定できるか？
• RQ4 最適な多様性レベルでの一般化性能の向上という理論的予測は、実際の実験でも成立するか？

主な発見

• ニューラルネットワークにおける隠れユニットの多様性を高めると、推定誤差の境界は低下するが、近似誤差の境界は増加する。
• 全体の一般化誤差は、推定誤差と近似誤差のトレードオフを最適にバランスさせる多様性レベルに達した際に最小値をとる。
• 実験的結果から、MAR-NNは200ユニットのニューラルネットワークにおいて、正則化なしのテスト精度約0.415から0.45まで向上させ、顕著な性能向上を示した。
• 最適な正則化強度λ=0.01が最高の精度を達成しており、理論的予測である最適な多様性レベルと整合的である。
• 実験的観察は理論的分析と一貫しており、MARによる多様性制御が一般化性能の向上に寄与することを確認した。