[論文レビュー] Towards Robust, Locally Linear Deep Networks

Guang-He Lee, David Alvarez-Melis+1 more|arXiv (Cornell University)|Jul 7, 2019

Adversarial Robustness in Machine Learning参考文献 50被引用数 15

ひとこと要約

本稿では、区分的線形活性化関数を備えた深層ネットワークにおける勾配安定性を向上させるために、新しい学習目的関数であるRoll（Robust, locally linear deep learning）を提案する。ℓ₂マージン境界と緩和されたSVMに類似した最適化を用いて、証明可能に安定した導関数が存在する領域を同定・拡張することで、局所線形近似の頑健性が向上する。画像および時系列タスクにおいて、勾配の安定性が向上し、わずかに高い精度が得られることを実証した。

ABSTRACT

Deep networks realize complex mappings that are often understood by their locally linear behavior at or around points of interest. For example, we use the derivative of the mapping with respect to its inputs for sensitivity analysis, or to explain (obtain coordinate relevance for) a prediction. One key challenge is that such derivatives are themselves inherently unstable. In this paper, we propose a new learning problem to encourage deep networks to have stable derivatives over larger regions. While the problem is challenging in general, we focus on networks with piecewise linear activation functions. Our algorithm consists of an inference step that identifies a region around a point where linear approximation is provably stable, and an optimization step to expand such regions. We propose a novel relaxation to scale the algorithm to realistic models. We illustrate our method with residual and recurrent networks on image and sequence datasets.

研究の動機と目的

• 局所線形近似の解釈可能性と頑健性を損なう、深層ネットワークにおける勾配の不安定性を是正すること。
• 解析が容易な区分的線形ネットワーク（例：ReLUベース）に焦点を当て、導関数安定性の分析を可能にする。
• 入力点の周囲で導関数が証明可能に安定する領域の大きさを最大化する学習基準を開発すること。
• 逆誤差伝搬を回避しつつ、高次元データを扱えるスケーラブルな推論および最適化アルゴリズムを設計すること。
• 勾配に基づく解釈の信頼性および小さな入力摂動に対する頑健性を向上させること。

提案手法

• 活性化パターンが一定である入力空間内の線形領域（実行可能集合）を定義し、導関数の安定性を保証する。
• 解析的ℓ₂マージン境界を用いて、特定の入力点の周囲で証明可能に安定した勾配を持つ領域の大きさを定量化する。
• SVMに類似した緩和された最適化問題を定式化し、ℓ₂マージンを最大化することで、スケーラブルな学習を可能にする。
• 逆誤差伝搬を回避する新しい摂動ベースの前向き伝搬を提案し、O(D)個の入力を同時に正確に勾配計算する。
• GPUメモリに収まらないO(D)個のサンプルを扱う高次元設定において、不偏な確率的近似を導入する。
• 訓練中にRoll損失を適用し、ネットワーク内の異なる線形領域にわたり、より広い導関数安定領域を促進する。

実験結果

リサーチクエスチョン

• RQ1 区分的線形活性化関数を備えた深層ネットワークにおいて、入力空間内で導関数が証明可能に安定する領域を同定・拡張することは可能か？
• RQ2 画像や時系列データのような高次元データにおいて、勾配安定性境界の計算をどのようにスケーリングできるか？
• RQ3 安定な勾配を最適化することで、局所線形近似の頑健性およびモデル解釈性はどの程度向上するか？
• RQ4 標準的な訓練と比較して、提案されたRoll損失は、小さな入力摂動下でもより安定した勾配をもたらすか？
• RQ5 ResNet やRNNのような異なるネットワークアーキテクチャに一般化可能であり、勾配安定性を維持できるか？

主な発見

• アドバーシャル摂動実験において、最大および期待値のℓ₁勾配歪みが低く抑えられ、Roll損失が勾配安定性を顕著に向上させた。
• Caltech-256では、Roll損失を用いた場合、1024枚のテスト画像のうち勾配歪みが生じたのは40枚にとどまり、通常の訓練では42枚であった。これは、より高い頑健性を示している。
• 可視化結果から、Rollで訓練されたモデルは安定的で一貫性のある勾配パターンを生成するが、通常のモデルはノイズが多く不一致な勾配を示す。
• 提案された摂動アルゴリズムは、O(D)個の入力を並列に正確に勾配計算可能であり、逆誤差伝搬への依存を軽減し、スケーラビリティを実現した。
• 本手法はアーキテクチャを問わず一般化可能である：全結合層、残差（ResNet）、再帰的（RNN）ネットワークにおいて、画像および時系列データで有効であった。
• Caltech-256では、P@1およびP@5の精度がわずかに向上しており、勾配安定性と併せて一般化性能の向上も示唆された。