[論文レビュー] Degrees of Freedom in Deep Neural Networks

Tianxiang Gao, Vladimir Jojic|arXiv (Cornell University)|Mar 30, 2016

Machine Learning and Algorithms参考文献 16被引用数 5

ひとこと要約

本稿では、深層シグモイドニューラルネットワークにおける自由度（DoF）を推定する効率的なモンテカルロ手法を提案する。その結果、特に深層ネットワークにおいて、正則化の内在的要因により、自由度はパラメータ数に比べて顕著に低いことが示された。この手法により、交差検証の性能に匹敵するがはるかに低い計算コストで実現可能な新たなモデル選択基準、DoFAIC が導入された。

ABSTRACT

In this paper, we explore degrees of freedom in deep sigmoidal neural networks. We show that the degrees of freedom in these models is related to the expected optimism, which is the expected difference between test error and training error. We provide an efficient Monte-Carlo method to estimate the degrees of freedom for multi-class classification methods. We show degrees of freedom are lower than the parameter count in a simple XOR network. We extend these results to neural nets trained on synthetic and real data, and investigate impact of network's architecture and different regularization choices. The degrees of freedom in deep networks are dramatically smaller than the number of parameters, in some real datasets several orders of magnitude. Further, we observe that for fixed number of parameters, deeper networks have less degrees of freedom exhibiting a regularization-by-depth.

研究の動機と目的

• 分類タスクにおける深層ニューラルネットワークの自由度を推定するための効率的で実用的な手法の開発。
• ネットワークのアーキテクチャおよび正則化手法が、自由度というモデルの複雑さの指標に与える影響の調査。
• 自由度が、交差検証に代わる信頼性があり計算コストが低い代替手段として機能できるかどうかの評価。
• 深層ネットワークにおける自由度が、特に深層構造において、全パラメータ数に比べて顕著に低いことの実証。
• 提案された DoFAIC 基準が、k-フォールド交差検証に代わる実用的で低コストなモデル選択手法として有効であるかの検証。

提案手法

• マルチクラス分類に適用可能な、多項ロジスティック回帰へのエフロンの自由度推定フレームワークの拡張。
• 訓練データへの摂動に対する出力の感度を測定することで自由度を推定するモンテカルロアルゴリズムの提案。最大で1回の追加前方伝搬で実現可能。
• 期待される楽観性（テスト誤差と訓練誤差の差）を自由度の代理として用い、モデルの複雑さと関連付ける。
• 合成データおよび実データ（MNIST、CIFAR-10）を用いた前向きシグモイドネットワークに、深さ、幅、正則化の変動を加えて適用。
• AICにおけるパrameter数を推定自由度に置き換えることで、効率的なモデル選択を可能にする DoFAIC を導出。
• 各モデルに対して1つのモンテカルロサンプルを用いて自由度を推定し、精度と計算コストのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける自由度は、ネットワークの深さと幅にどのように依存するか？
• RQ2 ドロップアウト、重み減衰、入力ノイズなどの正則化手法が、有効自由度にどのように影響を与えるか？
• RQ3 自由度を用いて、計算コストを大幅に削減しつつ交差検証の性能に匹敵するモデル選択基準を構築できるか？
• RQ4 深層ネットワークにおける自由度は、全パラメータ数に比べて顕著に低いのか、もしそうならどの程度の差があるか？
• RQ5 DoFAIC基準は、標準的なAICおよび交差検証と比較して、最適なネットワークアーキテクチャの選択においてどのように性能を示すか？

主な発見

• 深層シグモイドネットワークにおける自由度は、全パラメータ数に比べて顕著に低い。一部の実データでは、パラメータ数が自由度の数個から数個のオーダーも大きいことが観察された。
• 同じパラメータ数を有する場合、深層ネットワークは浅層ネットワークよりも自由度が少ないことが示され、深さに起因する正則化効果が裏付けられた。
• 重み減衰は、リッジ回帰における線形スケーリングとは対照的に、自由度の低下に非線形的かつ強い影響を及ぼす。特に深層ネットワークにおいて顕著であった。
• 全テストデータセットにおいて、DoFAICは5-フォールド交差検証誤差とほぼ完全なスピアマン順位相関（ρ > 0.98）を示した。一方、ナーブAICは過剰にモデルの複雑さを推定しており、負の相関を示した。
• すべてのデータセットにおいて、DoFAICは交差検証と同一の最適モデルを選択した。これにより、その信頼性と効率性が確認された。
• 本手法は、各モデルに対して最大で2回の学習（元のデータと摂動付きデータ）で実現可能であり、k-フォールド交差検証が最大k回の学習を要するのと比較して、はるかに効率的であった。