[論文レビュー] Learning Perceptually-Aligned Representations via Adversarial Robustness.

Logan Engstrom, Andrew Ilyas+4 more|arXiv (Cornell University)|Jun 3, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用数 35

ひとこと要約

本稿では、敵対的ロバストネスを用いて、深層ニューラルネットワークにおける知覚的に整合性のある高レベル特徴表現を学習する手法を提案する。ロバスト最適化を特徴に構造的プライアを強制する手法として再解釈することで、著者らはロバストモデルが近似的に可逆で、解釈可能かつ意味的に意味のある表現を学習することを示した。これにより、顕著な入力特徴の可視化と操作が直接可能になる。

ABSTRACT

An important goal in deep learning is to learn versatile, high-level feature representations of input data. However, standard networks' representations seem to possess shortcomings that, as we illustrate, prevent them from fully realizing this goal. In this work, we show that robust optimization can be re-cast as a tool for enforcing priors on the features learned by deep neural networks. It turns out that representations learned by robust models address the aforementioned shortcomings and make significant progress towards learning a high-level encoding of inputs. In particular, these representations are approximately invertible, while allowing for direct visualization and manipulation of salient input features. More broadly, our results indicate adversarial robustness as a promising avenue for improving learned representations. Our code and models for reproducing these results is available at this https URL .

研究の動機と目的

• 表現の多様性と解釈可能性に制限を受ける標準的な深層ニューラルネットワーク表現の欠陥を是正すること。
• 敵対的ロバストネスが、学習された特徴表現を改善するための正則化的インダクティブバイアスとして機能するかどうかを調査すること。
• 直接的な可視化と操作が可能な高レベルで意味的に意味のある、かつ近似的に可逆な特徴表現を可能にすること。
• ロバスト最適化が、知覚的および構造的入力特性と整合する特徴に制約を課すメカニズムをどのように強制するかを実証すること。

提案手法

• 深層ネットワークにおける学習特徴に構造的プライアを強制するメカニズムとして、ロバスト最適化を再定式化すること。
• 敵対的訓練を用いて深層ニューラルネットワークを学習し、特徴表現の品質を向上させること。
• 得られた特徴表現の可逆性、解釈可能性、顕著な入力構造との整合性を分析すること。
• 可視化と操作技術を用いて、学習された特徴の知覚的忠実度を評価すること。
• 標準モデルと比較することで、表現品質の向上を評価すること。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバストネスを用いることで、学習された深層特徴表現の品質を向上させることができるか？
• RQ2 ロバストモデルは、近似的に可逆で意味的に意味のある特徴表現を学習するか？
• RQ3 ロバスト表現は、顕著な入力特徴の直接的可視化と操作をどの程度可能にするか？
• RQ4 ロバスト最適化は、どのようにして知覚的に整合する特徴を生み出すためのプライアを強制するか？

主な発見

• ロバストモデルは、特徴から入力データを再構築可能な近似的に可逆な特徴表現を学習する。
• 学習された表現は、顕著な入力特徴の直接的可視化と操作を可能にし、知覚的整合性を示している。
• 敵対的ロバストネスは、学習特徴の意味的品質と構造を向上させる有効なインダクティブバイアスとして機能する。
• ロバストモデルは、入力データの高レベルで分離可能で解釈可能な表現を学習する点で、標準モデルを上回っている。