[論文レビュー] Robustness via Deep Low-Rank Representations

Amartya Sanyal, Varun Kanade+2 more|arXiv (Cornell University)|Apr 19, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 7

ひとこと要約

本稿では、敵対的およびランダムな摂動に対して顕著に高い耐性を示すが、敵対的訓練を必要としない、微分可能でエンド・ツー・エンドで学習可能な低ランク正則化子（LR）を提案する。この手法は、バックプロパゲーション中に特異値分解（SVD）に基づく最適化によりランク制約を適用することで、中間層のニューラルネットワーク表現が低次元線形部分空間上に位置することを強制する。その結果、わずかな精度の妥協を伴いながらも、高圧縮性で耐性の高い特徴量が得られる。

ABSTRACT

We investigate the effect of the dimensionality of the representations learned in Deep Neural Networks (DNNs) on their robustness to input perturbations, both adversarial and random. To achieve low dimensionality of learned representations, we propose an easy-to-use, end-to-end trainable, low-rank regularizer (LR) that can be applied to any intermediate layer representation of a DNN. This regularizer forces the feature representations to (mostly) lie in a low-dimensional linear subspace. We perform a wide range of experiments that demonstrate that the LR indeed induces low rank on the representations, while providing modest improvements to accuracy as an added benefit. Furthermore, the learned features make the trained model significantly more robust to input perturbations such as Gaussian and adversarial noise (even without adversarial training). Lastly, the low-dimensionality means that the learned features are highly compressible; thus discriminative features of the data can be stored using very little memory. Our experiments indicate that models trained using the LR learn robust classifiers by discovering subspaces that avoid non-robust features. Algorithmically, the LR is scalable, generic, and straightforward to implement into existing deep learning frameworks.

研究の動機と目的

• 深層ニューラルネットワークにおける学習された表現の次元削減が、入力摂動に対する耐性に与える影響を調査すること。
• アーキテクチャの変更なしに、中間層表現に低ランク構造を強制するスケーラブルで汎用的かつエンド・ツー・エンドで学習可能な正則化子を開発すること。
• 敵対的訓練に依存せずにモデルの耐性を向上させるとともに、クリーンな精度を維持またはわずかに向上させること。
• 表現の低ランク構造を活用することで、識別的特徴量の高圧縮を実現すること。

提案手法

• 中間層活性化に特異値分解（SVD）に基づくトレuncated SVDを用いてランク制約を適用する微分可能な低ランク正則化子（LR）を提案し、表現が低次元線形部分空間上に位置することを強制する。
• 正則化子を損失関数に微分可能ペナルティ項として統合し、ネットワーク全体を通してエンド・ツー・エンドのバックプロパゲーションを可能にする。
• 推論に影響を与えない仮想層メカニズムを採用することで、任意のDNNアーキテクチャの任意の中間層に適用可能である。
• スケーラビリティと効率性を確保するため、バッチ全体のSVDを近似するミニバッチ学習を用い、ランク正則化項を導入する。
• 畳み込み層の特徴マップを行列に再形状し、SVDによる低ランク近似を適用することで、正則化子を特徴マップに適用する。
• 本手法は汎用的であり、最小限のコード変更で任意のディープラーニングフレームワークに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 中間表現に低ランク構造を強制することで、深層ニューラルネットワークにおける敵対的およびランダムな入力摂動に対する耐性が向上するか？
• RQ2 敵対的訓練に依存せず、クリーンな精度を損なわず、一般化性能と特徴量の圧縮能力を向上させるか？
• RQ3 低ランクのインダクティブバイアスは、表現空間における非耐性でばらつきのある特徴を回避するモデルの能力にどのように影響するか？
• RQ4 スケーラビリティを損なわず、ミニバッチ学習設定でも効果的に低ランク正則化子を適用できるか？
• RQ5 低ランク表現は、レイヤー・クッションという指標で測定した場合、ノイズキャンセリングおよび一般化性能をどの程度向上させるか？

主な発見

• SVD解析およびランク推定により、低ランク正則化子が中間表現に低ランク構造を効果的に誘導していることが確認された。
• 敵対的訓練を一切行わずに、LR正則化子を用いて学習したモデルは、ランダムなガウスノイズおよび敵対的攻撃に対して顕著な耐性向上を示した。
• CIFAR-10では、LR正則化モデルの5次元埋め込み表現が94%の精度（フルプレシジョンモデルと比較して6%の低下）を達成しており、高い圧縮性が示された。
• レイヤー・クッション指標は、LR正則化モデルで顕著に向上し、ノイズキャンセリング特性および摂動に対する耐性の向上を示した。
• LR正則化特徴量上で学習されたマックスマージン分類器は、標準的またはN-LR特徴量上で学習されたものよりも、特にブラックボックス攻撃環境下でより耐性が高かった。
• 線形変換の高次特異値に表現が一致するよう促進することで、一般化性能が向上し、入力ノイズに対する感受性が低減された。