[論文レビュー] Wasserstein Diffusion Tikhonov Regularization

A. T. Lin, Yonatan Dukler+2 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用数 2

ひとこと要約

本稿では、Wasserstein-2幾何学を用いた新しいTikhonov正則化法を提案し、分類モデルのクラス内変動および敵対的摂動に対するロバスト性を向上させる。入力ノイズをWasserstein正規分布でモデル化し、損失関数をテイラー展開することで、入力依存の滑らかさ正則化項を導出し、画像空間における意味的に意味のある近傍を捉える。この正則化項は、計算コストを最小限に抑えつつ高レベルの正則化を実現し、CIFAR-10における一般化性能を向上させる。

ABSTRACT

We propose regularization strategies for learning discriminative models that are robust to in-class variations of the input data. We use the Wasserstein-2 geometry to capture semantically meaningful neighborhoods in the space of images, and define a corresponding input-dependent additive noise data augmentation model. Expanding and integrating the augmented loss yields an effective Tikhonov-type Wasserstein diffusion smoothness regularizer. This approach allows us to apply high levels of regularization and train functions that have low variability within classes but remain flexible across classes. We provide efficient methods for computing the regularizer at a negligible cost in comparison to training with adversarial data augmentation. Initial experiments demonstrate improvements in generalization performance under adversarial perturbations and also large in-class variations of the input data.

研究の動機と目的

• 微小で人間が認識できない入力摂動、特に敵対的攻撃に対して一般化性能が低いディープラーニングモデルの問題を解決すること。
• L2ベースの滑らかさ正則化項では画像データの意味的構造を捉えられないという限界を克服すること。
• 人間の画像変化認識に即した、データ駆動型かつ幾何学に配慮した正則化戦略を構築すること。
• テスト精度を損なわず、かつ計算コストが著しく増加しない高レベルの正則化を可能にすること。

提案手法

• 入力画像空間にWasserstein-2距離を用いてリーマン幾何を定義し、位置依存の近傍定義を可能にする。
• 入力空間にWasserstein正規分布を定義し、平行移動やノイズなどの自然な画像変化をモデル化する。
• Wasserstein空間における各訓練例の周囲で損失関数をテイラー展開し、正則化された目的関数を導出する。
• 展開された損失を統合することでTikhonov型正則化項を導出し、Wasserstein勾配ノルムと高次項をペナルティ化する。
• 逆計量テンソルから導かれる線形重み付きラプラシアン行列を用いて、正則化項を計算コストをほとんど増やさずに効率的に計算する。
• 正則化項を学習目的関数に統合し、意味的に自然な方向に沿った滑らかさを強制しつつ、クラス間の柔軟性を維持する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein幾何学は、画像分類モデルに対して、ユークリッド距離よりも効果的な滑らかさ事前分布を提供できるか？
• RQ2 最適輸送に基づく入力依存ノイズは、敵対的摂動および自然なクラス内変動の両方に対して、どのようにロバスト性を向上させるか？
• RQ3 Wassersteinベースの正則化を組み込む際の計算コストは、敵対的データ拡張と比較してどの程度か？
• RQ4 損失関数のテイラー展開における高次項は、一次勾配ペナルティを超えて一般化性能に寄与するか？
• RQ5 提案された正則化項は、テスト精度を低下させることなく、効果的な高レベルの正則化を可能にするか？

主な発見

• 提案されたWasserstein拡散正則化項は、CIFAR-10におけるテスト精度を維持または向上させながら、高レベルの正則化を実現する。
• 本手法で学習されたモデルは、微小な敵対的摂動および平行移動などの大規模なクラス内変動に対して、顕著なロバスト性の向上を示す。
• 正則化項の計算コストはほとんど無視できるほど低く、敵対的データ拡張よりも効率的である。
• 本手法は自然な画像変化方向に沿って意味的に意味のある近傍を自然に捉えることができ、自然な変化方向に沿った滑らかな意思決定境界を実現する。
• 導出された正則化項にはWasserstein勾配ペナルティと高次項が含まれており、従来のL2ベースの手法よりも洗練された滑らかさ事前分布を提供する。
• 予備の実験では、多様な摂動環境下で一般化性能が向上することを確認しており、実世界のデータ変動への広範な適用可能性を示唆している。