[論文レビュー] The Description Length of Deep Learning Models

Léonard Blier, Yann Ollivier|arXiv (Cornell University)|Feb 20, 2018

Topic Modeling被引用数 39

ひとこと要約

この論文は、深層ニューラルネットワークが、モデルパラメータの符号化を考慮しても強力なデータ圧縮を達成できることを示しており、大規模なパラメータ数が圧縮を妨げるという予想に反する。予測的符号化（訓練中に段階的に符号化する手法）を用いることで、この目的のために明示的に設計された変分推論よりも著しく優れた圧縮限界を達成し、変分手法に顕著な非効率性が存在することが明らかになった。これは、MDL（最小記述長）原理に理論的に整合しているものの、実際の深層ネットワークでは性能が著しく劣る。

ABSTRACT

Solomonoff's general theory of inference and the Minimum Description Length principle formalize Occam's razor, and hold that a good model of data is a model that is good at losslessly compressing the data, including the cost of describing the model itself. Deep neural networks might seem to go against this principle given the large number of parameters to be encoded. We demonstrate experimentally the ability of deep neural networks to compress the training data even when accounting for parameter encoding. The compression viewpoint originally motivated the use of variational methods in neural networks. Unexpectedly, we found that these variational methods provide surprisingly poor compression bounds, despite being explicitly built to minimize such bounds. This might explain the relatively poor practical performance of variational methods in deep learning. On the other hand, simple incremental encoding methods yield excellent compression values on deep networks, vindicating Solomonoff's approach.

研究の動機と目的

• モデル記述長を考慮した場合に、深層学習モデルが真にデータを圧縮できるかどうかを評価し、パラメータ数が圧縮の障壁であるという仮定に挑戦する。
• 変分推論手法—記述長を最小化することを目的として設計されているが—なぜ深層ネットワークでは実際の圧縮性能が著しく劣るのかを調査する。
• 深層学習モデルにおける異なる圧縮推定手法（変分、2部法、ベイジアン、予測的）の実際の符号長性能を比較する。
• 情報理論的原則を用いて、モデルの一般化、圧縮効率、予測性能の関係を明確にする。
• テスト精度と相関性の高い、実用的でタイトな圧縮限界を、段階的符号化スキームを用いて深層ネットワークに提供する。

提案手法

• 最小記述長（MDL）原理を用い、データとモデルパラメータの合計符号長を測定することで、モデル選択をデータ圧縮として扱う。
• 予測的符号化（prequential coding）を用いる：現在のモデル状態を用いて、順次各訓練例を符号化する。これにより、一般化性能が自然に圧縮性能に組み込まれる。
• MNISTおよびCIFARデータセットにおける標準的な深層学習アーキテクチャを用い、変分推論（重みの近似事後分布を用いる）、2部符号、ベイジアン周辺化の符号長を比較する。
• 変分目的関数を真のベイジアン符号長の上界として測定し、近似事後分布と真の事後分布の間のKLダイバージェンスのギャップを分析する。
• ドロップアウトや早期停止などの標準的な深層学習の実践的手法を用いて、正則化と現実的なモデル行動を確保する。
• 実データおよびランダム（偽）ラベルを用いて符号長を実証的に評価し、モデルが本当に情報を学習しているのか、それとも単にデータを記憶しているのかをテストする。

実験結果

リサーチクエスチョン

• RQ1 大規模なパラメータ数を有するにもかかわらず、モデル記述長を考慮した場合に、深層ニューラルネットワークは効果的なデータ圧縮を達成できるか？
• RQ2 記述長を最小化することを目的として設計された変分推論手法—なぜ深層ネットワークでは実際の圧縮性能が著しく劣るのか？
• RQ3 予測的、変分、2部法、ベイジアンなどの異なる圧縮推定手法は、深層学習モデルにおける実際の符号長性能において、どのように比較されるか？
• RQ4 圧縮効率は、深層学習モデルの一般化性能およびテスト精度とどの程度相関するか？
• RQ5 変分手法の失敗は、最適化の悪さ、事後分布の近似の質の低さ、それとも深層学習におけるベイジアン枠組み自体の本質的限界に起因するのか？

主な発見

• 予測的符号化は、変分推論よりも著しく優れた圧縮限界を達成し、MNISTおよびCIFARデータセットで符号長が最大で1桁低い結果を示した。
• 記述長を最小化することを目的として明示的に設計されているにもかかわらず、変分推論は劣った圧縮性能を示し、深層学習における理論と実践の根本的不一致を示唆している。
• ランダムラベルで学習したモデルは、符号長が一様符号化に近づくことから、データを圧縮できず、情報が学習されていないことが確認された。
• 予測的符号化はテストセットの性能と強く相関しており、良好な圧縮は一般化能力の信頼できる代理指標であることを示している。
• 変分符号長と真のベイジアン符号長のギャップは大きく、最適な変分パラメータを用いても、近似事後分布が真の事後分布をうまく近似できていないことが示された。
• 結果はソロモンフのMDL原理を裏付けた：適切な符号化手法を用いれば、パラメータ数が多かろうが、深層ネットワークは効果的にデータを圧縮できる。