[論文レビュー] Invariant backpropagation: how to train a transformation-invariant neural network

Sergey Demyanov, James Bailey+2 more|arXiv (Cornell University)|Feb 16, 2015

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 6

ひとこと要約

本稿では、勾配計算を変更することで入力の変動に対して頑健なニューラルネットワークの学習を可能にする、バックプロパゲーションの2つの新しい拡張——損失不変バックプロパゲーション（Loss IBP）と予測不変バックプロパゲーション（Prediction IBP）——を提案する。予測IBPは、損失の勾配が最も急な方向に沿って予測の不変性を強制するが、MNISTおよびCIFAR-10において標準的なバックプロパゲーションや他の手法よりも高い分類精度を達成している。ただし、計算コストは20%増加する。

ABSTRACT

In many classification problems a classifier should be robust to small variations in the input vector. This is a desired property not only for particular transformations, such as translation and rotation in image classification problems, but also for all others for which the change is small enough to retain the object perceptually indistinguishable. We propose two extensions of the backpropagation algorithm that train a neural network to be robust to variations in the feature vector. While the first of them enforces robustness of the loss function to all variations, the second method trains the predictions to be robust to a particular variation which changes the loss function the most. The second methods demonstrates better results, but is slightly slower. We analytically compare the proposed algorithm with two the most similar approaches (Tangent BP and Adversarial Training), and propose their fast versions. In the experimental part we perform comparison of all algorithms in terms of classification accuracy and robustness to noise on MNIST and CIFAR-10 datasets. Additionally we analyze how the performance of the proposed algorithm depends on the dataset size and data augmentation.

研究の動機と目的

• 微小な入力変動（平行移動、回転、ノイズなど）に対して標準的なバックプロパゲーションに不変性が欠けているという問題に取り組む。
• データオーグメンテーションに依存せずに、局所的な入力変換に対して頑健であるように explicitly 正則化する手法を開発する。
• Tangent BP や敵対的訓練といった既存手法と比較し、精度および頑健性の観点から提案手法の性能を評価する。
• データセットサイズおよびデータオーグメンテーションの影響が、提案正則化手法の有効性に与える影響を分析する。

提案手法

• 損失IBPは、損失関数の入力摂動に関するヤコビ行列を用いて勾配を調整することで、すべての微小な入力変動に対して不変となるように損失関数を変更する。
• 予測IBPは、損失を最も大きくする入力変動方向に対してネットワークの予測が不変になるようにし、勾配更新を損失変化の最も急な方向に一致させる。
• 変換方向に沿った方向微分を組み込んだ修正されたチェーンルールを用いて重み勾配を計算することで、効率的なバックプロパゲーションを実現する。
• ほとんどの層タイプにおいて、損失IBPは追加の1回の順方向伝搬のみを必要とし、計算効率が良い。
• Tangent BP および敵対的訓練の高速版を提案し、後者は元の性能を維持しながら15%高速化された。
• 本手法はすべてのニューラルネットワークアーキテクチャと互換性があり、他の正則化技術と組み合わせて使用可能である。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションに依存せずに、標準的なバックプロパゲーションを微小な入力変動に対して不変に拡張することは可能か？
• RQ2 損失関数への不変性の強制（損失IBP）と予測への不変性の強制（予測IBP）の間で、精度および頑健性の観点からどちらが優れているか？
• RQ3 提案手法は、ノイズや敵対的摂動が加えられたMNIST や CIFAR-10 などのデータセットにおいて一般化性能を向上させるか？
• RQ4 データセットサイズおよびデータオーグメンテーションは、不変バックプロパゲーションの効果にどのように影響するか？
• RQ5 Tangent BP や敵対的訓練のような既存手法の高速版を、性能を損なわず開発できるか？

主な発見

• 予測IBPは、MNISTおよびCIFAR-10の両方で最高の分類精度を達成し、標準的なバックプロパゲーションや他の正則化手法を上回った。
• MNISTでは、標準的なバックプロパゲーションが、予測IBP や 敵対的訓練を含む他のすべての手法よりもガウスノイズに対してより頑健であった。
• Tangent BP はCIFAR-10で最高の性能を示したが、両データセットにおいてガウスノイズおよび敵対的ノイズに対して最も感受性が高かった。
• 予測IBPによる改善は、MNISTの1,000サンプルサブセットでは43%、60,000サンプルの完全セットでは18%であった。これは、大規模データセットでも強い正則化効果があることを示している。
• データオーグメンテーションは予測IBPを完全に代替しない。オーグメンテーションを適用しても、予測IBPは性能向上を維持しており、これはオーグメンテーションを超えた不変性を捉えていることを示唆している。
• 敵対的訓練の高速版は、元の性能を維持しながら15%高速化された。一方、高速版Tangent BPは元の手法と同等の精度に留まり、性能向上は見られなかった。