[論文レビュー] Improving the Robustness of Deep Neural Networks via Stability Training

Stephan Zheng, Yang Song+2 more|arXiv (Cornell University)|Apr 15, 2016

Adversarial Robustness in Machine Learning参考文献 10被引用数 91

ひとこと要約

本稿では、JPEG圧縮、リサイズ、クロッピングなどの自然な入力歪みに対して深層ニューラルネットワークのロバスト性を向上させる軽量な手法「ステーブルティトレーニング」を紹介する。この手法は、歪みを加えた入力間で出力の一貫性を最適化することで、クリーンなデータでの精度を損なわずにノイジーなデータでの性能を向上させ、類似画像ランク付け、近似重複検出、汚染下での分類の分野で最先端の結果を達成する。

ABSTRACT

In this paper we address the issue of output instability of deep neural networks: small perturbations in the visual input can significantly distort the feature embeddings and output of a neural network. Such instability affects many deep architectures with state-of-the-art performance on a wide range of computer vision tasks. We present a general stability training method to stabilize deep networks against small input distortions that result from various types of common image processing, such as compression, rescaling, and cropping. We validate our method by stabilizing the state-of-the-art Inception architecture against these types of distortions. In addition, we demonstrate that our stabilized model gives robust state-of-the-art performance on large-scale near-duplicate detection, similar-image ranking, and classification on noisy datasets.

研究の動機と目的

• JPEG圧縮、リサイズ、クロッピングなどの一般的な自然な画像歪みによって生じる深層ニューラルネットワークの出力不安定性の問題に対処すること。
• 視覚的に区別がつかない画像に対して顕著に異なる特徴埋め込みを出力してしまう最先端モデルの限界を克服すること。
• クリーンなデータでの性能を損なわせることなく、モデルのロバスト性を向上させる汎用的なトレーニング手法を開発すること。
• 実世界のビジョンタスク、特にノイジーまたは汚染された入力が関与する近似重複検出や分類タスクにおいて、性能が向上することを示すこと。

提案手法

• 小さな入力摂動に対してモデルの出力が一貫するよう促すステーブルティトレーニング目的関数を導入すること。
• 元の入力のJPEG圧縮版、クロップ版、リサイズ版を含む歪みを加えたデータの増強データでモデルを訓練すること。
• 標準の交差エントロピー損失に加え、小さな入力摂動に対して出力の変化が大きくなりすぎないよう罰則を課す正則化項を組み合わせること。
• トレーニング中に摂動の大きさを制御するためのノイズパラメータσを用い、現実的な画像汚染を模擬すること。
• バックプロパゲーション中にステーブルティ目的関数を適用し、精度と出力安定性の両方を同時に最適化すること。
• 安定性と元のタスク性能のトレードオフを調整するためのハイパーパrameter α（正則化強度）と σ（ノイズスケール）を用いること。

実験結果

リサーチクエスチョン

• RQ1 クリーンなデータでの性能を損なわせることなく、JPEG圧縮やリサイズなどの自然な画像歪みに対して深層ニューラルネットワークをよりロバストにできるか？
• RQ2 標準トレーニングと比較して、ステーブルティトレーニングは近似重複画像の特徴埋め込みの分散をどの程度低減するか？
• RQ3 ステーブルティトレーニングは、特に画像分類や類似画像ランク付けなどのタスクにおいて、汚染またはノイジーなテストセットでのモデル性能にどのように影響するか？
• RQ4 安定化されたモデルは、未加工で損失のある画像処理が施された実世界の視覚データセットにも、より良い一般化性能を示すか？
• RQ5 安定性正則化と元のタスク精度の最適なトレードオフは何か？また、ハイパーパrameter α と σ はこのトレードオフにどのように影響するか？

主な発見

• ステーブルティトレーニングは、汚染された画像データにおけるランク付け性能を顕著に向上させる：Deep RankingモデルはJPEG圧縮画像においてトップ30で7,360のランクスコアを達成（ベースラインの7,286に対し）、あらゆる歪みタイプで一貫した向上を示す。
• JPEG品質50のImageNetバリデーションセットにおいて、安定化されたInceptionモデルはトップ5精度92.7％（ベースライン92.4％）を達成し、トップ1精度は75.7％（ベースライン75.1％）を記録。汚染下でも0.6％の向上を示す。
• 高歪みレベル（例：JPEG品質10）では、トップ1およびトップ5精度で安定化モデルがベースラインを5〜6ポイント上回り、強いロバスト性を示す。
• クリーンなImageNetデータでも、安定化モデルは最先端の性能を維持（トップ1：77.9％ vs. ベースライン77.8％）、差は統計的誤差の範囲内にあり、クリーンデータでの性能劣化は確認されない。
• 本手法は複数のタスクにわたり有効である：安定化モデルは、汚染されたデータにおける近似重複検出および類似画像ランク付けにおいて、ベースラインを上回り、より高いランクスコアと一貫性のある特徴埋め込みを達成する。
• 適切なハイパーパrameterを用いることでロバスト性が向上する：α=0.01、σ=0.04を用いることで、JPEG品質80％未満のレベルで安定化モデルがベースラインを上回り始め、歪みが増加する条件下でも強い一般化性能を示す。