[論文レビュー] Model Complexity of Deep Learning: A Survey

Xia Hu, Lingyang Chu+3 more|arXiv (Cornell University)|Mar 8, 2021

Machine Learning and Algorithms参考文献 94被引用数 6

ひとこと要約

本調査は、深層学習におけるモデルの複雑さについて包括的な概説を提供し、表現力と有効な複雑さに分類し、モデルフレームワーク、サイズ、最適化、データに依存するその依存関係を分析している。主な課題と今後の方向性として、幅と深さにおけるボトルネック、有効な複雑さの測定、異なるモデル間の複雑さ比較が挙げられている。

ABSTRACT

Model complexity is a fundamental problem in deep learning. In this paper we conduct a systematic overview of the latest studies on model complexity in deep learning. Model complexity of deep learning can be categorized into expressive capacity and effective model complexity. We review the existing studies on those two categories along four important factors, including model framework, model size, optimization process and data complexity. We also discuss the applications of deep learning model complexity including understanding model generalization, model optimization, and model selection and design. We conclude by proposing several interesting future directions.

研究の動機と目的

• 深層学習モデルの複雑さに関する最近の進展を体系的にレビューし、表現力と一般化に関する根本的な問いに応えること。
• モデルアーキテクチャ、サイズ、最適化ダイナミクス、データの複雑さといった、モデルの複雑さに影響を与える主要因を特定・分析すること。
• モデルの複雑さの応用を検討し、一般化の理解、最適化の改善、モデル選択およびニューラルアーキテクチャ探索の支援を行うこと。
• 有効な複雑さの測定や、異なるモデル間の複雑さ比較といった、未解決の課題を強調すること。

提案手法

• モデルフレームワーク、モデルサイズ、最適化プロセス、データの複雑さの4つの主要要因に注目し、深層学習モデルの複雑さを表現力と有効な複雑さに分類すること。
• VC次元、ラデマッハ複雑さ、および区分線形性の性質といった指標を用いて、表現力に関する最先端の研究を調査すること。
• ノルムベースおよび感受性ベースの測定を用いて有効な複雑さを分析し、フィッシャー＝レイのメトリクスおよびトレーニング可能サンプルサイズを含む。
• 高容量だが実現度が低い現象を検討し、最適化における暗黙のバイアスにより、大容量のモデルでも一般化が良好であることを示す。
• ネットワーク設計空間における複雑さの推定分布を用いて、異なるアーキテクチャ間でモデルの複雑さを比較するフレームワークを提案すること。
• ENAS や DARTS などの代表的な NAS 法を、それらの探索空間の複雑さ分布を対比することで評価すること。

実験結果

リサーチクエスチョン

• RQ1 モデルフレームワーク、サイズ、最適化、データの複雑さといった要因が、深層ニューラルネットワークの表現力にどのように影響を与えるか？
• RQ2 有効なモデルの複雑さはどのように測定可能であり、一般化や最適化にどのような洞察を提供するか？
• RQ3 特に ReLU ネットワークや多項式ネットワークにおける深さと幅の制約に関して、表現力のボトルネックは何か？
• RQ4 異なるアーキテクチャ（例：FCNN、CNN、RNN）間でモデルの複雑さをどのように比較し、モデル選択や設計に活かせるか？
• RQ5 モデルの複雑さは、一般化の理解、最適化ダイナミクス、およびニューラルアーキテクチャ探索において果たす役割は何か？

主な発見

• ルらやハニン＆セルケが示したように、深層ReLUネットワークにおける狭い層は、総パラメータ数が大きくても表現力の能力を著しく制限する。
• セラらは、深層ReLUネットワークの最初の層が狭いと、関数的表現力にボトルネックが生じ、複雑な関数を表現する能力が制限されることを発見した。
• キルール他は、深層多項式ネットワークにおいて、1つの狭い層が、全ネットワークの凸関数的空間を形成できず、最適化を困難にすることを示した。
• ノルムベースおよび感受性ベースの有効な複雑さの測定は登場しているが、依然として未発達であり、類似したモデル間での微細な区別がつかない。
• 異なるモデル間の複雑さ比較は依然として限定的であるが、クリュルコフ他は、FCNN、CNN、RNN に対してテンソル分解と関連付けることで、進展を図った。
• ENAS や DARTS などの NAS 法のネットワーク設計空間は、複雑さの分布において顕著な差異を示しており、異なるインダクティブバイアスを示していると考えられる。