[논문 리뷰] How Robust are Deep Neural Networks?

Biswa Sengupta, Karl Friston|arXiv (Cornell University)|2018. 04. 30.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 9

한 줄 요약

이 논문은 소규모 변형에 대한 순환 신경망(RNNs)의 내성에 대해 조사하며, 높은 분류 정확도가 구조적 안정성을 의미하지는 않는다는 것을 드러낸다. 정확도가 높은 RNNs가 비록 스펙트럴 정규화를 통해 안정성을 확보했음에도 불구하고 여전히 매우 비안정함을 입증하며, 학습 과정에서 비정규, 비대각화 가능한 가중치 행렬에 기인한 불안정성을 분석하기 위해 $ε$-pseudo-spectrum를 도구로 제안한다.

ABSTRACT

Convolutional and Recurrent, deep neural networks have been successful in machine learning systems for computer vision, reinforcement learning, and other allied fields. However, the robustness of such neural networks is seldom apprised, especially after high classification accuracy has been attained. In this paper, we evaluate the robustness of three recurrent neural networks to tiny perturbations, on three widely used datasets, to argue that high accuracy does not always mean a stable and a robust (to bounded perturbations, adversarial attacks, etc.) system. Especially, normalizing the spectrum of the discrete recurrent network to bound the spectrum (using power method, Rayleigh quotient, etc.) on a unit disk produces stable, albeit highly non-robust neural networks. Furthermore, using the $ε$-pseudo-spectrum, we show that training of recurrent networks, say using gradient-based methods, often result in non-normal matrices that may or may not be diagonalizable. Therefore, the open problem lies in constructing methods that optimize not only for accuracy but also for the stability and the robustness of the underlying neural network, a criterion that is distinct from the other.

연구 동기 및 목표

• 높은 정확도를 보이는 RNNs가 소규모 입력 또는 가중치 변형에 대해 여전히 내성적인지 조사하기.
• 안정성 확보를 위한 스펙트럴 정규화와 실제 적대적 또는 구조적 변형에 대한 내성 간의 괴리 분석하기.
• 특히 안전 기반 응용 분야에서 중요시되는 내성을 확보하기 위해 현재의 학습 방법의 한계 규명하기.
• pseudo-spectra와 변분 추론을 통한 안정성, 내성, 일반화를 통합하는 프레임워크 제안하기.
• 정확도를 넘어서 구조적 안정성과 변형에 대한 저항력을 포함한 최적화 기준의 필요성 강조하기.

제안 방법

• 소규모 변형에 대한 순환 가중치 행렬의 민감도를 분석하기 위해 $ε$-pseudo-spectrum를 사용하며, 고유값이 단위 원판 내에 있을지라도 불안정성이 존재함을 드러낸다.
• 스펙트럴 반복법과 레일리 몫을 통해 스펙트럴 반경을 1로 제약함으로써 역동적 안정성 확보를 목표로 한다.
• 비정규성과 비대각화 가능성에 기인한 소규모 가중치 행렬 변화가 네트워크 동역학을 근본적으로 변화시키는지 평가하기 위해 구조적 안정성(비슷한 pseudo-spectra 기반)을 적용한다.
• 학습된 RNN 가중치 행렬의 비정규성 분석을 통해, 일반적으로 대각화 가능하지 않음을 입증하며, 이는 일시적 증폭과 불안정성 유도함을 보여준다.
• 변분 추론과 자유 에너지 최소화가 복잡성과 안정성을 균형 잡는 데 있어 체계적인 길을 제공할 수 있음을 제안한다.
• 비볼록성에 기인한 스펙트럴 추축과 반경의 문제를 고려하면서도 제어 이론(예: $H_{\infty}$ 제어)의 유사성에 기반해 내성을 변형 영향 최소화 문제로 프레임워크화한다.

실험 결과

연구 질문

• RQ1 스펙트럴 정규화를 통해 스펙트럴 반경을 제약했음에도 불구하고, 높은 정확도를 보이는 RNNs가 소규모 입력 또는 가중치 변형에 대해 얼마나 내성적인가?
• RQ2 비정규, 비대각화 가능한 가중치 행렬을 가진 RNNs에서 $ε$-pseudo-spectrum는 어떻게 불안정성을 드러내는가?
• RQ3 왜 기울기 기반 학습 방법은 스펙트럴 노름이 유한함에도 불구하고 강건한 네트워크를 생성하지 못하는가?
• RQ4 변분 추론 프레임워크(예: VAEs)는 복잡성과 안정성을 균형 잡는 데 있어 내성을 본질적으로 증진시킬 수 있는가?
• RQ5 딥 러닝 모델에서 정확도, 안정성, 내성을 동시에 확보하기 위해 필요한 최적화 기준은 무엇인가?

주요 결과

• 높은 정확도를 보이는 RNNs는 스펙트럴 정규화를 통해 스펙트럴 반경을 제약했음에도 불구하고 여전히 소규모 변형에 매우 비안정함을 입증함.
• $ε$-pseudo-spectrum를 통해 학습된 RNNs의 비정규 가중치 행렬이 일반적으로 대각화 가능하지 않으며, 이는 일시적 증폭과 불안정성 유도함을 드러냄.
• 스펙트럴 정규화만으로는 내성이 확보되지 않으며, 조건수 또는 의사-스펙트럴 반경을 제어하지 못하기 때문임.
• 비정규 행렬은 고유값이 안정적이어도 소규모 변형을 크게 증폭시켜 네트워크의 구조적 불안정성 초래함.
• 논문은 중요한 격차를 규명함: 현재의 학습 방법은 정확도 최적화에 치중되어 있으나, 안전 기반 시스템에 필수적인 내성 기준을 간과함.
• 변분 추론과 자유 에너지 최소화는 복잡성과 민감도의 균형을 통해 강건하고 안정적이며 일반화 가능한 해를 도출할 수 있는 체계적인 길을 제공할 수 있음.