[論文レビュー] Training Compact Neural Networks via Auxiliary Overparameterization.

Yifan Liu, Bohan Zhuang+3 more|arXiv (Cornell University)|Sep 5, 2019

Machine Learning and Data Classification被引用数 7

ひとこと要約

本稿では、学習中にコンパクトなニューラルネットワークを拡張する補助的過パラメータ化モジュールを提案する。このモジュールにより最適化と一般化性能が向上するが、推論時には元のコンパクトなネットワークのみを保持する。階層的な補助構造を自動で探索することで、推論時のコストを増加させることなく、完全に過パラメータ化されたモデルと同等の性能向上を達成する。

ABSTRACT

It is observed that overparameterization (i.e., designing neural networks whose number of parameters is larger than statistically needed to fit the training data) can improve both optimization and generalization while compact networks are more difficult to be optimized. However, overparameterization leads to slower test-time inference speed and more power consumption. To tackle this problem, we propose a novel auxiliary module to simulate the effect of overparameterization. During training, we expand the compact network with the auxiliary module to formulate a wider network to assist optimization while during inference only the original compact network is kept. Moreover, we propose to automatically search the hierarchical auxiliary structure to avoid adding supervisions heuristically. In experiments, we explore several challenging resource constraint tasks including light-weight classification, semantic segmentation and multi-task learning with hard parameter sharing. We empirically find that the proposed auxiliary module can maintain the complexity of the compact network while significantly improving the performance.

研究の動機と目的

• 効率的ではあるが学習が難しいコンパクトなニューラルネットワークの最適化課題に取り組む。
• 推論時のモデルサイズを増加させることなく、過パラメータ化による最適化と一般化の恩恵を再現する。
• 階層的な補助構造の設計を自動化し、補助モジュール構築におけるヒューリスティックな指導を回避する。
• 軽量分類、セマンティックセグメンテーション、マルチタスク学習などのリソース制約下でも効率的なコンパクトモデルの学習を可能にする。

提案手法

• 学習中にコンパクトなネットワークを拡張する補助モジュールを導入し、より広く訓練可能なアーキテクチャを構築する。
• 標準的な誤差逆伝播法を用いて拡張されたネットワークを訓練し、補助モジュールの能力を活用して最適化を容易にする。
• 推論時には補助モジュールを破棄し、元のコンパクトなネットワークのみを用いることで、効率性を維持する。
• 補助モジュールの階層的構造を自動で学習する微分可能探索機構を提案する。
• 柔軟で構造的な過パラメータ化を可能にしつつ、計算の tractability を保つ探索空間を定義する。
• パラメータ共有を伴うマルチタスク学習を含む、リソース制約が厳しいさまざまなタスクにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 補助的過パラメータ化は、推論コストを増加させることなく、コンパクトなニューラルネットワークの学習ダイナミクスを改善できるか？
• RQ2 手作業で設計された構造と比較して、階層的補助構造を自動で探索することはどの程度有効か？
• RQ3 この手法は、リソース制約下のタスクにおいて、コンパクトモデルと過パラメータ化モデルの性能格差をどの程度縮められるか？
• RQ4 この手法は、画像分類、セマンティックセグメンテーション、マルチタスク学習など多様なタスクに一般化可能か？

主な発見

• 提案手法は、複数のタスクにおいてコンパクトネットワークの性能を顕著に向上させ、完全に過パラメータ化されたモデルと同等またはそれ以上の性能を達成する。
• 補助的過パラメータ化により、小さく学習が難しい基本ネットワークに対しても、より良い最適化と一般化が実現される。
• ヒューリスティックな設計と比較して、補助構造の自動探索により高い性能が得られ、探索機構の有効性が裏付けられる。
• この手法は、元のコンパクトモデルの推論速度とメモリ使用量をそのままで維持するため、エッジデプロイメントに適している。
• 実験結果から、ハードパラメータ共有を伴う軽量分類、セマンティックセグメンテーション、マルチタスク学習において一貫した精度向上が観察された。