[論文レビュー] Deep Learning with Data Dependent Implicit Activation Function

Bao Wang, Xiyang Luo+4 more|arXiv (Cornell University)|Feb 1, 2018

Model Reduction and Neural Networks参考文献 26被引用数 6

ひとこと要約

本稿では、偏微分方程式（PDE）制御理論の原則を活用することで、低データ環境下での一般化性能を向上させるデータ依存型の暗黙的活性化関数を提案する。この手法は、モデルの複雑さを増さずにCIFAR-10およびCIFAR-100で相対誤差を20–30%削減し、既存のDNNに即座に統合可能なプラグイン型の改善手法を提供する。

ABSTRACT

Though deep neural networks (DNNs) achieve remarkable performances in many artificial intelligence tasks, the lack of training instances remains a notorious challenge. As the network goes deeper, the generalization accuracy decays rapidly in the situation of lacking massive amounts of training data. In this paper, we propose novel deep neural network structures that can be inherited from all existing DNNs with almost the same level of complexity, and develop simple training algorithms. We show our paradigm successfully resolves the lack of data issue. Tests on the CIFAR10 and CIFAR100 image recognition datasets show that the new paradigm leads to 20$\%$ to $30\%$ relative error rate reduction compared to their base DNNs. The intuition of our algorithms for deep residual network stems from theories of the partial differential equation (PDE) control problems. Code will be made available.

研究の動機と目的

• 訓練データが限られた状況下での深層ニューラルネットワーク（DNN）の一般化性能の悪化という課題に対処すること。
• データ不足下でネットワークの深さが増すと急速に精度が低下する問題を克服すること。
• 既存のDNNの複雑さを維持しつつ、データ不足に対する耐性を高めるトレーニングフレームワークを開発すること。
• プラグイン機構を用いて既存の深層残差ネットワーク（ResNets）へのスムーズな統合を可能にすること。
• PDE制御問題からの理論的知見を活用し、新たなデータ適応型活性化メカニズムを設計すること。

提案手法

• トレーニング中に入力データ分布に基づいて動的に調整される、データ依存型の暗黙的活性化関数を提案する。
• ネットワーク最適化を導くために、偏微分方程式（PDE）制御理論の原則を用いてトレーニングプロセスを定式化する。
• 既存のDNNアーキテクチャに最小限の変更で暗黙的活性化を統合できる、シンプルで効率的なトレーニングアルゴリズムを設計する。
• 標準DNNと同等の計算複雑性を維持することで、直接的な比較と導入が可能になるようにする。
• 画像認識ベンチマークでの性能評価を目的に、フレームワークを深層残差ネットワーク（ResNets）に適用する。
• 活性化の暗黙的性質を活かして、明示的なアーキテクチャ変更なしにトレーニングを安定化させ、一般化性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 データ依存型の暗黙的活性化関数は、データ不足下での深層ニューラルネットワークの一般化性能を向上させることができるか？
• RQ2 PDEにインスパイアされたトレーニングフレームワークは、低データ画像認識タスクでの性能をどのように向上させるか？
• RQ3 この手法は、複雑さを増さずに既存のDNNアーキテクチャにどの程度統合可能か？
• RQ4 CIFAR-10やCIFAR-100といった標準ベンチマークにおいて、ベースDNNと比較して相対誤差率はどの程度削減されるか？
• RQ5 暗黙的活性化メカニズムは、標準的な明示的活性化関数と比較して、より安定したトレーニングと優れた一般化を実現するか？

主な発見

• 提案手法は、ベースDNNと比較してCIFAR-10およびCIFAR-100で20–30%の相対誤差率削減を達成した。
• モデルの複雑さを増さずに性能向上が達成されたため、既存のネットワークに対するプラグイン型の強化とみなせる。
• 本手法は、データ不足下で通常観察される深層ネットワークの精度低下を効果的に緩和した。
• 深層残差ネットワークへの統合はスムーズであり、計算フットプリントも同じままである。
• PDEに基づくトレーニングフレームワークにより、データ適応型の活性化ダイナミクスを通じて安定した最適化と一般化性能の向上が実現した。
• 本手法のコードは公開され、再現性および今後の研究を支援する。