[논문 리뷰] Learning Perceptually-Aligned Representations via Adversarial Robustness.

Logan Engstrom, Andrew Ilyas외 4명|arXiv (Cornell University)|2019. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 35

한 줄 요약

이 논문은 딥 네ural 네트워크에서 시각적으로 일치하는 고수준의 특징 표현을 학습하기 위한 수단으로 적대적 로버스트성을 활용하는 것을 제안한다. 로버스트 최적화를 특징에 대한 구조적 사전 지식을 강제하는 방법으로 재해석함으로써, 저자들은 로버스트 모델이 약간의 역행 가능성이 있으며 해석 가능하고 의미 있는 표현을 학습함을 보여주며, 이는 주로 입력 특징의 주요 요소들을 직접 시각화하고 조작할 수 있도록 한다.

ABSTRACT

An important goal in deep learning is to learn versatile, high-level feature representations of input data. However, standard networks' representations seem to possess shortcomings that, as we illustrate, prevent them from fully realizing this goal. In this work, we show that robust optimization can be re-cast as a tool for enforcing priors on the features learned by deep neural networks. It turns out that representations learned by robust models address the aforementioned shortcomings and make significant progress towards learning a high-level encoding of inputs. In particular, these representations are approximately invertible, while allowing for direct visualization and manipulation of salient input features. More broadly, our results indicate adversarial robustness as a promising avenue for improving learned representations. Our code and models for reproducing these results is available at this https URL .

연구 동기 및 목표

• 표준 딥 네ural 네트워크 표현 방식의 한계를 해결하기 위해, 이는 그들의 다용도성과 해석 가능성에 제약을 둔다.
• 적대적 로버스트성이 학습된 특징 표현을 향상시키는 데 도움이 되는 정규화된 인덕티브 바이어스로 작용할 수 있는지 조사하기 위해.
• 직접 입력 특징의 시각화와 조작을 지원하는 고수준의 의미적으로 유의미하고 약간의 역행 가능성이 있는 표현을 가능하게 하기 위해.
• 로버스트 최적화가 시각적 및 구조적 입력 특성과 일치하는 특징에 대한 사전 지식을 어떻게 강제하는지 보여주기 위해.

제안 방법

• 딥 네트워크에서 학습된 특징에 대한 구조적 사전 지식을 강제하는 수단으로 로버스트 최적화를 재해석하기 위해.
• 특징 표현 품질을 향상시키기 위해 적대적 훈련을 사용하여 딥 네트워크를 훈련하기 위해.
• 결과로 얻어진 표현의 역행 가능성, 해석 가능성, 그리고 주요 입력 구조와의 일치성 분석하기 위해.
• 학습된 특징의 시각적 정확도를 평가하기 위해 시각화 및 조작 기법을 사용하기 위해.
• 표준 모델과의 비교를 통해 표현 품질 향상 여부 평가하기 위해.

실험 결과

연구 질문

• RQ1 적대적 로버스트성을 활용하여 학습된 딥 특징 표현의 품질을 향상시킬 수 있는가?
• RQ2 로버스트 모델은 약간의 역행 가능성이 있으며 의미적으로 의미 있는 표현을 학습하는가?
• RQ3 로버스트 표현은 얼마나 잘 입력 특징의 주요 요소들을 직접 시각화하고 조작할 수 있도록 하는가?
• RQ4 로버스트 최적화는 어떻게 더 시각적으로 일치하는 특징을 만들어내는 사전 지식을 강제하는가?

주요 결과

• 로버스트 모델은 특징에서 입력 데이터를 재구성할 수 있도록 약간의 역행 가능성이 있는 특징 표현을 학습한다.
• 학습된 표현은 주요 입력 특징의 직접적 시각화와 조작을 지원하며, 이는 시각적 일치를 나타낸다.
• 적대적 로버스트성은 학습된 특징의 의미적 품질과 구조를 향상시키는 효과적인 인덕티브 바이어스로 작용한다.
• 로버스트 모델은 입력 데이터의 고수준, 분리된, 해석 가능한 표현을 학습하는 데서 표준 모델보다 뛰어나다.