[論文レビュー] Adversarial Robustness as a Prior for Learned Representations

Logan Engstrom, Andrew Ilyas+4 more|arXiv (Cornell University)|Jun 3, 2019

Adversarial Robustness in Machine Learning参考文献 49被引用数 76

ひとこと要約

対抗的に頑健なネットワークによって学習された表現は、より人間に適合し、ほぼ可逆で視覚化が容易な特徴埋め込みを生み出す事前知識として機能し、意味的な逆写像、視覚化、および操作を可能にする。

ABSTRACT

An important goal in deep learning is to learn versatile, high-level feature representations of input data. However, standard networks' representations seem to possess shortcomings that, as we illustrate, prevent them from fully realizing this goal. In this work, we show that robust optimization can be re-cast as a tool for enforcing priors on the features learned by deep neural networks. It turns out that representations learned by robust models address the aforementioned shortcomings and make significant progress towards learning a high-level encoding of inputs. In particular, these representations are approximately invertible, while allowing for direct visualization and manipulation of salient input features. More broadly, our results indicate adversarial robustness as a promising avenue for improving learned representations. Our code and models for reproducing these results is available at https://git.io/robust-reps .

研究の動機と目的

• 標準的な表現が人間が解釈できる高レベル特徴を捉える上での限界を示す。
• 頑健性のある最適化が、学習された表現に人間の知覚と一致する前提を生み出すことを示す。
• 頑健な表現がほぼ可逆で、直接的な視覚化と操作に適しているかを調査する。

提案手法

• Restricted ImageNet および ImageNet 上で、標準目的と頑健目的を用いて ResNet-50 を訓練する。
• 摂動集合内で最悪ケースの損失を最小化するために PGD ベースの頑健最適化を用いる。
• 標準モデルと頑健モデルの表現特性を比較し、逆写像と視覚化タスクを含む。

実験結果

リサーチクエスチョン

• RQ1 頑健な表現は、標準モデルで観察される学習特徴と人間が知覚する特徴の不一致を緩和するか。
• RQ2 頑健な表現は過度な正則化なしにほぼ可逆で直接的な視覚化に適しているか。
• RQ3 頑健な表現は入力間の意味的に意味のある補間と特徴操作をサポートできるか。
• RQ4 分布外入力に対して、逆写像と視覚化の観点から頑健な表現はどう機能するか。

主な発見

• 頑健な表現はほぼ可逆であり、近傍の表現に対して意味的に類似した入力を生み出す。
• 頑健な表現上での直接最適化は正則化なしでも人間に認識可能な視覚化をもたらす。
• 頑健な表現は第一次最適化を介して画像に顕著な特徴を追加することにより特徴操作を可能にする。
• 分布外の入力でも逆写像が意味を成し、人間の知覚と整合する特徴を示唆する。
• 表現空間における任意の入力間の補間は知覚的にもっともらしい遷移を生む。
• 頑健な最適化は、標準モデルよりも人間の知覚と整合する特徴埋め込みを生み出す前提となる。