[論文レビュー] Optimization on Submanifolds of Convolution Kernels in CNNs

Mete Özay, Takayuki Okatani|arXiv (Cornell University)|Oct 22, 2016

Neural Networks and Applications参考文献 57被引用数 40

ひとこと要約

本論文は、畳み込みカーネルの学習を、球面、スタイーベル、斜交多様体などの埋め込まれた・埋め込まれた部分多様体上での確率的勾配降下法（SGD）として定式化する幾何最適化フレームワークを提案する。これにより直交性が保証され、学習の安定性が向上する。カーネル空間を滑らかな多様体としてモデル化することで、ほぼ確実にグローバル最小値に収束し、ImageNetおよびCIFARベンチマークで最先端の性能を達成する。特に深層ネットワークおよびデータ拡張が適用された状況で顕著な向上が見られる。

ABSTRACT

Kernel normalization methods have been employed to improve robustness of optimization methods to reparametrization of convolution kernels, covariate shift, and to accelerate training of Convolutional Neural Networks (CNNs). However, our understanding of theoretical properties of these methods has lagged behind their success in applications. We develop a geometric framework to elucidate underlying mechanisms of a diverse range of kernel normalization methods. Our framework enables us to expound and identify geometry of space of normalized kernels. We analyze and delineate how state-of-the-art kernel normalization methods affect the geometry of search spaces of the stochastic gradient descent (SGD) algorithms in CNNs. Following our theoretical results, we propose a SGD algorithm with assurance of almost sure convergence of the methods to a solution at single minimum of classification loss of CNNs. Experimental results show that the proposed method achieves state-of-the-art performance for major image classification benchmarks with CNNs.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）におけるカーネル正規化手法の背後にある理論的理解の欠如に取り組むこと。これらは広く使われているが、十分に分析されていない。
• カーネル空間を滑らかな多様体としてモデル化する幾何的フレームワークを開発し、最適化の多様体的構造をよりよく理解・制御すること。
• 分類損失のグローバル最小値に収束を保証する、これらのカーネル部分多様体上で最適化を行う新しいSGDアルゴリズムを設計すること。
• カーネルに幾何的制約を課すことで一般化性能とロバストネスが向上することを示すこと。特にデータ拡張や深層ネットワークの状況で顕著である。

提案手法

• 本論文は、カーネルを埋め込まれたまたは埋め込まれた部分多様体（例：球面、スタイーベル、斜交多様体）上の点としてモデル化し、直交性および正規化制約を幾何的に表現する。
• カーネル推定問題をこれらの部分多様体上での最適化として定式化し、損失関数に制約を埋め込む必要を回避する。
• 多様体制約付きの更新を用いたバックプロパゲーションを実行する、新しいSGDアルゴリズムを提案する。このアルゴリズムはカーネル多様体上でリーマン最適化を実行する。
• 本フレームワークは自然勾配法を一般化し、滑らかな多様体の仮定の下で収束保証を可能にする。
• 球面（Sp）、斜交（Ob）、スタイーベル（St）といった異なるカーネル多様体を評価し、最適化および一般化性能に与える影響を比較する。
• 理論的分析により、損失関数の等高線集合が部分多様体であり、幾何的制約下でも臨界点が適切に振る舞うことが保証される。

実験結果

リサーチクエスチョン

• RQ1 異なるカーネル正規化手法は、CNN最適化における探索空間の幾何にどのように影響を与えるか？
• RQ2 カーネル空間を滑らかな多様体としてモデル化することで、CNN学習において一意のグローバル最小値への収束を保証できるか？
• RQ3 幾何的制約（例：直交性、単位ノルム）は、深層CNNにおける一般化性能とロバストネスにどのような影響を与えるか？
• RQ4 部分多様体に基づくカーネル制約は、標準的な正規化手法と比較して、性能および収束速度において優れているか？
• RQ5 カーネル多様体上での幾何的最適化は、特にデータ拡張を伴う大規模ベンチマーク（ImageNetやCIFAR）において性能向上をもたらすか？

主な発見

• 提案手法はImageNetで最先端の性能を達成し、Res-18+MOBN（St）はPRONGで訓練された22層のInceptionモデルを上回る性能を示した。
• データ拡張を伴うCIFAR-10では、Stiefelカーネルを用いたRes-110がベースラインのResNetと比較して2.11%の誤差低減を達成した。
• データ拡張なしのCIFAR-100では、事前活性化ブロックを用いたRes-110にStiefelカーネルを適用することで4.98%の性能向上が得られた。
• 本手法は、データセットおよびネットワークの深さにかかわらず一貫した性能向上を示し、特に深層ネットワークおよびクラス数が多い設定で顕著な向上が見られた。
• スタイーベル多様体は、ほとんどの設定で球面および斜交多様体を上回り、特に深層アーキテクチャやデータ拡張なしの状況で顕著な優位性を示した。
• 理論的分析により、提案フレームワーク下で損失関数の等高線集合が部分多様体であることが確認され、一意の最小値への収束を支持する。