[論文レビュー] Learning across scales - A multiscale method for Convolution Neural Networks

Eldad Haber, Lars Ruthotto+2 more|arXiv (Cornell University)|Mar 6, 2017

Seismic Imaging and Inversion Techniques参考文献 12被引用数 25

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNNs）を時間に依存する非線形微分方程式に従う最適制御問題として解釈するマルチスケールディープラーニングフレームワークを提案する。この連続的定式化を活用することで、代数多重グリッド（AMG）に基づくカーネル補間を用いたクロスリゾリューション学習と、段階的なネットワーク深さ初期化による深さスケーリングの2つの新規手法を開発した。両手法とも、画像分類ベンチマークにおける学習時間の短縮と一般化性能の向上に寄与する。

ABSTRACT

In this work we establish the relation between optimal control and training deep Convolution Neural Networks (CNNs). We show that the forward propagation in CNNs can be interpreted as a time-dependent nonlinear differential equation and learning as controlling the parameters of the differential equation such that the network approximates the data-label relation for given training data. Using this continuous interpretation we derive two new methods to scale CNNs with respect to two different dimensions. The first class of multiscale methods connects low-resolution and high-resolution data through prolongation and restriction of CNN parameters. We demonstrate that this enables classifying high-resolution images using CNNs trained with low-resolution images and vice versa and warm-starting the learning process. The second class of multiscale methods connects shallow and deep networks and leads to new training strategies that gradually increase the depths of the CNN while re-using parameters for initializations.

研究の動機と目的

• 画像解像度およびネットワーク深さの両方において体系的なスケーリングを可能にする、連続的で最適制御に基づくディープCNNの解釈を確立すること。
• 異なる画像解像度や深さに再トレーニングする場合の高い計算コストと一般化性能の低さという課題に対処すること。
• スケール間でパラメータを再利用できるスケーラブルなトレーニング戦略を開発し、再トレーニングの必要性を低減すること。
• マルチスケールトレーニングが、画像分類タスクにおける収束時間の短縮とモデル精度の向上にどの程度有効であるかを実証すること。

提案手法

• ResNet風アーキテクチャにおける順方向伝播を、層が時間ステップに対応する時間離散化された非線形常微分方程式（ODE）として解釈する。
• トレーニングプロセスをODEのパラメータ（例：畳み込みカーネル重み）の最適制御問題として定式化することで、連続的な最適化とスケーリングを可能にする。
• 粗いと細かい画像解像度間で一貫した畳み込み演算子を計算するための代数多重グリッド（AMG）手法を考案し、入力データの補間を回避する。
• 低解像度ネットワークの重みを補間して高解像度ネットワークを初期化する粗いから細かいへのトレーニング戦略を導入し、収束を高速化する。
• 段階的にトレーニングされた浅いネットワークからのパラメータ転送を用いて、深さを段階的に増加させる深さスケーリング手法を提案する。
• 早期停止と検証指標を用いて、ImageNet-10およびCIFAR-10データセットにおける標準トレーニングプロトコルとマルチスケールトレーニングプロトコルのトレーニングダイナミクスを比較する。

実験結果

リサーチクエスチョン

• RQ1 ディープCNNにおける順方向伝播を、非線形ODEに従う意味的かつ連続的な最適制御問題として解釈できるか？
• RQ2 入力データの補間を回避して、画像解像度間でマルチスケールパラメータ転送をどのように実現できるか？
• RQ3 段階的にトレーニングされた浅いネットワークからの初期化によって、深層ネットワークのトレーニング効率と収束速度を向上させられるか？
• RQ4 提案されたマルチスケールフレームワークは、画像分類ベンチマークにおけるトレーニング時間の短縮と一般化性能の向上にどの程度寄与するか？
• RQ5 AMGを用いた一貫したカーネル補間が、粗いと細かい解像度間のモデル転送において分類精度にどのような影響を与えるか？

主な発見

• 粗いから細いへのトレーニング戦略を用いたマルチスケールアプローチにより、高解像度画像への直接トレーニングと比較して収束に必要なエポック数が削減された。
• 逐次的トレーニングプロセスを経るにもかかわらず、マルチスケール手法の総合的なトレーニング時間は、各解像度で独立してトレーニングする方法よりも短かった。
• 5回の異なるトレイン・テストデータ分割において、$224 \times 224$ 画像における標準トレーニングと比較して、マルチスケール手法はトレーニング誤差および検証誤差の両方を低く抑えた。
• 高解像度画像でトレーニングされたCNNは、補間を経ずに低解像度画像を分類可能であり、逆に低解像度画像でトレーニングされたネットワークも高解像度画像を分類可能であった。これは一貫したパラメータスケーリングのおかげである。
• 深さスケーリング戦略により、段階的にトレーニングされた浅いネットワークからの重み初期化によって、深層ネットワークの収束が著しく高速化された。
• 代数多重グリッドに基づくカーネル補間手法により、スケール間で一貫した特徴学習が実現され、単純な補間ベースの手法を上回る性能を発揮した。