[論文レビュー] Efficient Convolutional Auto-Encoding via Random Convexification and Frequency-Domain Minimization

Meshia Cédric Oveneke, Mitchel Alioscha‐Perez+3 more|arXiv (Cornell University)|Nov 28, 2016

Geophysical Methods and Applications参考文献 15被引用数 4

ひとこと要約

本稿では、再構成的自己符号化（RCAE）目的関数を解くために、ランダムな凸化と周波数ドメインにおける座標降下法を用いた、リソース効率的で教師なしの深層畳み込みニューラルネットワークの訓練戦略を提案する。非線形符号化パラメータを固定し、周波数ドメインで得られる凸的で大規模な最小二乗問題を最小化することで、線形時間計算量を達成し、1つの調整可能なパrameterで高速収束が可能となり、完全な並列化が可能となる。400枚の訓練画像のみを用いて、画像サイズ、フィルタ数、フィルタサイズに比例してスケーリング可能であることが実証された。

ABSTRACT

The omnipresence of deep learning architectures such as deep convolutional neural networks (CNN)s is fueled by the synergistic combination of ever-increasing labeled datasets and specialized hardware. Despite the indisputable success, the reliance on huge amounts of labeled data and specialized hardware can be a limiting factor when approaching new applications. To help alleviating these limitations, we propose an efficient learning strategy for layer-wise unsupervised training of deep CNNs on conventional hardware in acceptable time. Our proposed strategy consists of randomly convexifying the reconstruction contractive auto-encoding (RCAE) learning objective and solving the resulting large-scale convex minimization problem in the frequency domain via coordinate descent (CD). The main advantages of our proposed learning strategy are: (1) single tunable optimization parameter; (2) fast and guaranteed convergence; (3) possibilities for full parallelization. Numerical experiments show that our proposed learning strategy scales (in the worst case) linearly with image size, number of filters and filter size.

研究の動機と目的

• リソース制約のある環境における深層CNNの限界を克服し、ラベル付きデータや専用ハードウェアへの依存を低減すること。
• 非凸なRCAE最適化における確率的勾配降下法（SGD）の高い計算コストと手動によるパrameter調整の負担を軽減すること。
• 従来のCPU上で効率的で、グリーディに層ごとの教師なし事前学習が可能な深層CNNの訓練を可能にすること。
• 最小限のハイパーパrameter調整で高速かつ保証された収束を達成すること。
• 標準的なハードウェア上でスケーラブルで大規模な自己符号化を実現するための並列化の機会を活用すること。

提案手法

• 非線形符号化フィルタとバイアスを固定することで、非凸なRCAE目的関数をランダムに凸化し、凸最小化問題に変換する。
• 離散フーリエ変換（DFT）を用いてRCAE目的関数を周波数ドメインに写像し、FFTを介して効率的な計算を可能にする。
• 周波数ドメインに変換された目的関数を座標降下法（CD）で最小化し、1つの復号化フィルタずつ更新する。
• 複素数値の復号化フィルタをゼロで初期化し、全フィルタに対して1回のCDサイクルを実行することで収束を保証する。
• 周波数ドメイン問題の構造を活用して、フィルタ座標全体にわたる完全な並列化を可能にする。
• 双曲正接活性化関数を用い、入力画像にホワイトニングを適用することで、安定した学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 RCAE目的関数のランダムな凸化は、効率的な最小化に適した取り扱いやすい凸最適化問題に変換可能か？
• RQ2 DFTによる周波数ドメインへの変換は、RCAE問題のスケーラブルかつ並列化可能な解法を可能にするか？
• RQ3 周波数ドメイン問題における座標降下法は、1つの調整可能なパrameterでのみ、高速かつ保証された収束を達成できるか？
• RQ4 本手法における計算量は、画像サイズ、フィルタ数、フィルタサイズにどのようにスケーリングされるか？
• RQ5 本手法は、最小限のラベル付きデータと標準的なハードウェア上でも良好な再構成性能を達成できるか？

主な発見

• 提案手法は、画像サイズ、フィルタ数、フィルタサイズに関して、最悪ケースで線形時間計算量を示し、最適なスケーラビリティを示している。
• 正則化パrameter λ = 16.5 で再構成誤差がグローバル最小値に達し、ハイパーパrameterへの感受性が適切に把握されていることが示された。
• 約400枚の訓練画像を経過した後、学習された復号化フィルタが収束し、限られたデータでも迅速な学習が可能であることが示された。
• 400枚の訓練画像のみを用いて未学習のテスト画像の再構成を実施した結果、視覚的に妥当な再構成が得られ、モデルの一般化能力が検証された。
• 連続するフィルタ更新間の平均二乗差を収束速度として測定したところ、速やかに安定化し、高速収束が確認された。
• 周波数ドメインにおけるCDアプローチの本質的な並列性により、最適化された実装で顕著な性能向上の可能性が示された。