[論文レビュー] Constrained Deep Learning using Conditional Gradient and Applications in Computer Vision

Sathya N. Ravi, Tuan Dinh+2 more|arXiv (Cornell University)|Mar 17, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用数 12

ひとこと要約

本稿では、深層ニューラルネットワークの訓練において、グローバル制約を扱う際の確率的勾配降下法（SGD）の限界を克服するため、条件付き勾配（CG）アルゴリズムの使用を提案する。一般化性能の向上、高速な学習（例：GANでは50%少ないエポック数）、および安定性の向上（特にパスノルム正則化において顕著）を実証し、既存のディープラーニングフレームワークへの変更を最小限に抑えている。

ABSTRACT

A number of results have recently demonstrated the benefits of incorporating various constraints when training deep architectures in vision and machine learning. The advantages range from guarantees for statistical generalization to better accuracy to compression. But support for general constraints within widely used libraries remains scarce and their broader deployment within many applications that can benefit from them remains under-explored. Part of the reason is that Stochastic gradient descent (SGD), the workhorse for training deep neural networks, does not natively deal with constraints with global scope very well. In this paper, we revisit a classical first order scheme from numerical optimization, Conditional Gradients (CG), that has, thus far had limited applicability in training deep models. We show via rigorous analysis how various constraints can be naturally handled by modifications of this algorithm. We provide convergence guarantees and show a suite of immediate benefits that are possible -- from training ResNets with fewer layers but better accuracy simply by substituting in our version of CG to faster training of GANs with 50% fewer epochs in image inpainting applications to provably better generalization guarantees using efficiently implementable forms of recently proposed regularizers.

研究の動機と目的

• Keras や TensorFlow などのディープラーニングライブラリにネイティブなグローバル制約サポートが欠如している問題に対処すること。
• SGD とグローバル制約の不適合性が、ディープモデルにおける正則化や構造的事前知識の利用を妨げることを克服すること。
• 条件付き勾配（CG）アルゴリズムが、パスノルム、フロベニウスノルム、スパarsity などの多様な制約を、ディープラーニングの学習中に効率的に処理できることを示すこと。
• CGベースの学習が、標準的なSGDの変種と比較して、優れた一般化性能、高速な収束、および向上した安定性をもたらすことを示すこと。
• 既存のディープラーニングパイプラインに制約を統合するための実用的で、即挿し可能なフレームワークを提供すること。実装のオーバーヘッドを最小限に抑える。

提案手法

• 深層ニューラルネットワークのミニバッチ学習に適応した古典的条件付き勾配（フランク＝ウォルフ）アルゴリズムの適用。
• 一般化性能を向上させるために、ネットワーク重みにパスノルム制約を課す「パス-CG」を導入。
• GANのディスクラミネータにフロベニウスノルム制約を適用し、モード崩壊を防止するとともに学習を加速。
• 各反復で制約の妥当性を維持しながら収束を保証するため、ラインサーチ戦略を採用。
• 標準的なバックプロパゲーションを保持したまま、既存のディープラーニングモデルへのCGフレームワークの統合。アーキテクチャの変更を最小限に抑える。
• 条件付き勾配更新式：w_{t+1} = w_t + au_t (v_t - w_t) を活用。ここで v_t は制約集合上での線形最小化オラクルの解である。

実験結果

リサーチクエスチョン

• RQ1 条件付き勾配手法は、SGDが失敗するパスノルムやフロベニウスノルムなどのグローバル制約を、ディープラーニングで効果的に処理できるか？
• RQ2 CGベースの学習は、同じ制約を適用した場合、SGDと比較してより優れた一般化性能と高速な収束を達成するか？
• RQ3 CGを用いることで、画像品質を維持または向上させながら、GANの学習をより効率的に行えるか？
• RQ4 トレーニング中の安定性および制約の遵守度において、パス-CG はパス-SGD と比べてどのように異なるか？
• RQ5 既存のディープラーニングフレームワークにCGを統合する際、大規模な再設計なしにどの程度の拡張が可能か？

主な発見

• パス-CG は、MNIST、CIFAR-10、CIFAR-100、SVHN データセットにおいて、パス-SGD と同等のテスト精度を達成するとともに、パスノルムを制約しきい値以下に維持し、優れた安定性を示した。
• DC-GAN を用いた画像補完タスクでは、CGで学習したモデルが、標準的なSGDで学習したモデルと同等またはより優れた画像品質を達成したが、学習エポック数を50%削減した。
• CGフレームワークにより、計算コストを低減しつつ、GANの高速学習が可能となり、最小限のハイパーパramータチューニングで高品質な画像補完が実現した。
• 実験結果から、パス-CG はパスノルムを効果的に正則化する一方で、パス-SGD はそれを制御できず、無制限に増大し、一般化性能が劣ることが明らかになった。
• 低ランクやスパarsity誘導型正則化子などの複雑な正則化子の効率的実装が、既存モデルへの最小限のコード変更で可能となった。
• フレームワークは標準的なディープラーニングライブラリと互換性があり、最小限のオーバーヘッドでデプロイ可能であり、視覚および機械学習タスクへの広範な適用可能性を示唆している。