[論文レビュー] Understanding Generalization in Deep Learning via Tensor Methods

Jingling Li, Yanchao Sun+3 more|arXiv (Cornell University)|Jan 14, 2020

Tensor decomposition and applications参考文献 52被引用数 10

ひとこと要約

本論文は、テンソル分解手法を用いて深層学習における一般化を調査し、低ランク近似による圧縮がモデル性能に与える影響を特に分析している。テンソルベースの手法、特にCTおよびCT+CPLは、高い圧縮比であっても92%を超える高いテスト精度を維持しており、これはテンソル分解による構造的パラメータ共有が、重要な表現能力を保持することで一般化を向上させることを示唆している。

ABSTRACT

Deep neural networks generalize well on unseen data though the number of parameters often far exceeds the number of training examples. Recently proposed complexity measures have provided insights to understanding the generalizability in neural networks from perspectives of PAC-Bayes, robustness, overparametrization, compression and so on. In this work, we advance the understanding of the relations between the network's architecture and its generalizability from the compression perspective. Using tensor analysis, we propose a series of intuitive, data-dependent and easily-measurable properties that tightly characterize the compressibility and generalizability of neural networks; thus, in practice, our generalization bound outperforms the previous compression-based ones, especially for neural networks using tensors as their weight kernels (e.g. CNNs). Moreover, these intuitive measurements provide further insights into designing neural network architectures with properties favorable for better/guaranteed generalizability. Our experimental results demonstrate that through the proposed measurable properties, our generalization error bound matches the trend of the test error well. Our theoretical analysis further provides justifications for the empirical success and limitations of some widely-used tensor-based compression approaches. We also discover the improvements to the compressibility and robustness of current neural networks when incorporating tensor operations via our proposed layer-wise structure.

研究の動機と目的

• 深層ニューラルネットワークにおける一般化のメカニズムを理解すること。
• モデル圧縮下でのテンソル分解手法が一般化に与える影響を調査すること。
• さまざまな圧縮比におけるテスト精度を評価することを目的とした、テンソルベースの圧縮技術（CT、CT+CPL）の性能を評価すること。
• 標準的なプルーニングや低ランク近似と比較して、テンソル手法の一般化の維持におけるロバスト性を比較すること。

提案手法

• 著者らは、トレーニング済みのニューラルネットワークにテンソルトレイン（TT）分解を適用し、低ランク近似によってパラメータを圧縮している。
• パラメータの性能を維持するため、新しい圧縮戦略として、テンソル圧縮（CT）とファインチューニングステップ（CPL）を組み合わせた手法を導入している。
• 本手法は、16.5%から93.5%の範囲で変動するさまざまな圧縮比において、テスト精度を測定することで一般化を評価している。
• 同じトレーニングおよび評価プロトコル下で、標準的なファインチューニング、CTオンリーモード、CT+CPL手法の比較が行われている。
• 精度は複数の圧縮レベルで測定された、ベンチマークデータセットを用いた実証的評価によって分析されている。
• 圧縮比に応じた精度の傾向を可視化するため、軸に平行なプロットが用いられている。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解に基づく圧縮は、深層ニューラルネットワークのテスト精度にどのように影響を与えるか？
• RQ2 テンソル手法による構造的パラメータ共有は、高い圧縮比下でも一般化を維持できるか？
• RQ3 ファインチューニングステップ（CPL）の追加により、標準的なテンソル圧縮（CT）と比較して性能がどのように向上するか？
• RQ4 低ランクテンソル近似における、モデル圧縮と一般化性能のトレードオフは何か？
• RQ5 標準的なプルーニングや低ランク手法と比較して、テンソルベースの手法はテスト精度をどの程度維持できるか？

主な発見

• CT+CPL手法は、圧縮比が93.5%に達するまで、テスト精度が92%を超えて維持されており、高い圧縮下でも強力な一般化を示している。
• 45%の圧縮比において、CT+CPLは92.23%のテスト精度を達成しており、CTオンリーモードの91.94%を上回っており、ファインチューニングステップの有効性が示されている。
• CTオンリーモードは、すべての圧縮レベルで約91.94%の精度を維持しており、一貫性は保たれているが、最適ではない性能である。
• テンソル圧縮を適用しないベースライン手法は、16.5%の圧縮比で92.13%の精度を達成しており、性能の基準として機能している。
• 結果から、テンソル分解による構造的パラメータ共有が、重要な表現能力を保持することで一般化を向上させることを示唆している。
• 性能のトレンドから、テンソルベースの手法が、顕著な精度低下を伴わずに、より安定的かつロバストな圧縮経路を提供することが示唆されている。