[論文レビュー] Trusting SVM for Piecewise Linear CNNs

Leonard Berrada, Andrew Zisserman+1 more|arXiv (Cornell University)|Nov 7, 2016

Adversarial Robustness in Machine Learning参考文献 26被引用数 8

ひとこと要約

本稿では、区分線形畳み込みニューラルネットワーク（PL-CNN）のための新しいレイヤーワイズ最適化アルゴリズムを提案する。この手法は、層パラメータ推定を差分凸（DC）プログラムに再定式化し、潜在的構造的SVMに等価である。CCCP（凹凸凸法）を適用し、特化した改良を施したブロック座標フランク＝ウォルフ（BCFW）アルゴリズムを用いることで、学習率のチューニングを必要とせず、収束が単調に保たれる。MNIST、CIFAR、ImageNetベンチマークにおいて、最先端のバックプロパゲーション手法を上回り、精度とスケーラビリティの両方が向上する。

ABSTRACT

We present a novel layerwise optimization algorithm for the learning objective of Piecewise-Linear Convolutional Neural Networks (PL-CNNs), a large class of convolutional neural networks. Specifically, PL-CNNs employ piecewise linear non-linearities such as the commonly used ReLU and max-pool, and an SVM classifier as the final layer. The key observation of our approach is that the problem corresponding to the parameter estimation of a layer can be formulated as a difference-of-convex (DC) program, which happens to be a latent structured SVM. We optimize the DC program using the concave-convex procedure, which requires us to iteratively solve a structured SVM problem. This allows to design an optimization algorithm with an optimal learning rate that does not require any tuning. Using the MNIST, CIFAR and ImageNet data sets, we show that our approach always improves over the state of the art variants of backpropagation and scales to large data and large network settings.

研究の動機と目的

• 深層学習におけるバックプロパゲーションの学習率ハイパーパramータへの感受性を軽減すること。
• 区分線形活性化関数（例：ReLU、マックスプール）を有するCNNの広範なクラスに対して、よりロバストで原理的根拠のある最適化フレームワークを構築すること。
• 構造的SVMとDCプログラミングを用いて、PL-CNNのスケーラブルでレイヤーワイズの最適化を可能にすること。
• 双対SVM最適化における解析的最適ステップサイズの導出により、全体のアルゴリズムで学習率チューニングの必要性を排除すること。
• 標準アーキテクチャを用いたImageNetのような大規模データセットにおいて、スケーラビリティと性能向上を実証すること。

提案手法

• 各PL-CNN層のパrameter推定を、差分凸（DC）プログラムに定式化し、潜在的構造的SVMに等価であることを示す。
• CCCP（凹凸凸法）を適用し、逐次的な凸構造的SVM問題の解法によってDCプログラムを反復的に解く。
• 各凸構造的SVM双対問題を解くために、ブロック座標フランク＝ウォルフ（BCFW）アルゴリズムを用い、効率的な条件勾配計算を実現する。
• BCFWにおける信頼領域初期化を導入し、密結合層の効率的な特徴ベクトル表現を用いることで収束性を向上させ、メモリ使用量を削減する。
• 精度を損なわずに構造的SVM問題の制約数を削減し、時間計算量を顕著に低減する。
• BCFWにおける解析的計算による最適ステップサイズを採用し、全体のアルゴリズムで学習率チューニングの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 PL-CNNのレイヤーワイズ最適化は、よりロバストな学習を可能にする構造的SVM問題として定式化可能だろうか？
• RQ2 特化した改良を施したCCCPとBCFWの組み合わせは、バックプロパゲーションを上回る収束の単調性と性能向上をもたらすだろうか？
• RQ3 提案手法は、学習率チューニングなしで、VGG、Inception、ResNetのような標準アーキテクチャを用いた大規模ネットワークやデータセット（例：ImageNet）にスケーリング可能だろうか？
• RQ4 制約削減とメモリ最適化は、深層学習における構造的SVMソルバーの効率性をどの程度向上させうるだろうか？
• RQ5 PL-CNNと潜在的構造的SVMの間の関係は、VGG、Inception、ResNetのような標準アーキテクチャへ一般化可能だろうか？

主な発見

• LW-SVMアルゴリズムは、VGG-16を用いてImageNetでトップ-1精度73.81%を達成し、事前学習済みモデル（73.30%）を0.51%上回った。
• CIFAR-10およびCIFAR-100において、本手法は最先端のバックプロパゲーション手法を一貫して上回り、優れた一般化性能とロバスト性を示した。
• 本手法により、VGG-16の最初の全結合層におけるBCFWのメモリ使用量が7,600GBから20GBに削減され、標準的なハードウェアでもトレーニングが可能になった。
• アルゴリズムは各レイヤーで学習目的関数が単調に減少し、双対SVM目的関数が単調に増加するため、安定した収束が保証された。
• 学習率チューニングが不要であり、解析的ステップサイズが採用されているため、ロバストで効率的な最適化パイプラインが実現された。
• 本手法は大規模な設定にも効果的にスケーリングでき、ImageNetにおいて1GPUで1層あたり5エポックを2日で完了した。