[논문 리뷰] High Dimensional Spaces, Deep Learning and Adversarial Examples

Simant Dube|arXiv (Cornell University)|2018. 01. 02.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 23

한 줄 요약

이 논문은 고차원 공간에서의 딥 러닝에 대한 엄밀한 수학적 분석을 제공하며, 적대적 예외가 모델 결함이 아니라 이미지 다양체의 기하학적 성질에서 기인함을 보여준다. 이전 연구에서 잘못된 논지를 수정하고, L₂ 적대적 편향이 해상도 n에 따라 O(1/√n)로 감소함을 증명하며, 의미적 구조와 저차원 다양체를 모델링함으로써 적대적 예외를 제거하는 파트-홀 맨포ลด 학습 프레임워크를 제안한다.

ABSTRACT

In this paper, we analyze deep learning from a mathematical point of view and derive several novel results. The results are based on intriguing mathematical properties of high dimensional spaces. We first look at perturbation based adversarial examples and show how they can be understood using topological and geometrical arguments in high dimensions. We point out mistake in an argument presented in prior published literature, and we present a more rigorous, general and correct mathematical result to explain adversarial examples in terms of topology of image manifolds. Second, we look at optimization landscapes of deep neural networks and examine the number of saddle points relative to that of local minima. Third, we show how multiresolution nature of images explains perturbation based adversarial examples in form of a stronger result. Our results state that expectation of $L_2$-norm of adversarial perturbations is $O\left(\frac{1}{\sqrt{n}} ight)$ and therefore shrinks to 0 as image resolution $n$ becomes arbitrarily large. Finally, by incorporating the parts-whole manifold learning hypothesis for natural images, we investigate the working of deep neural networks and root causes of adversarial examples and discuss how future improvements can be made and how adversarial examples can be eliminated.

연구 동기 및 목표

• 고차원 기하학과 위상수학을 활용해 적대적 예외에 대한 엄밀한 수학적 설명을 제공함으로써, 이전 문헌에서 잘못된 논지를 수정한다.
• 특히 고차원 공간에서의 딥 네URAL 네트워크 최적화 지형을 분석하며, 안장점과 국소 최소점의 비율을 다룬다.
• 다중해상도 이미지 구조를 활용해, 편향 기반 적대적 예외가 고해상도 이미지에서 본질적으로 작다는 이유를 설명한다.
• 의미적 구조와 저차원 다양체를 모델링함으로써 적대적 예외를 제거하는 파트-홀 맨포ลด 학습 가설을 제안한다.
• 이미지 구성 요소의 자세 인식 가능하고 저차원 표현을 통합함으로써, 향후 딥 러닝의 향상을 이끌어내기 위한 생성 및 판별 학습의 융합을 이끈다.

제안 방법

• 고차원 공간에서의 위상수학적 및 기하학적 추론을 사용하여, 이미지 다양체의 구조와 경계에 초점을 맞춰 적대적 예외를 분석한다.
• 다중해상도 이미지 성질을 활용해 일반적인 수학적 결과를 유도하며, 적대적 편향의 기대 L₂-노름이 O(1/√n)로 척도가 붙음을 보여주며, 여기서 n은 이미지 해상도이다.
• 굿펠로 등(2015)의 논지에서 발생한 논리적 오류를 특정하고 수정한다. 즉, 차원 증가 시 L∞-노름 편향이 작아진다는 주장은 잘못되었으며, 목표 활성화 값과 벡터 노름은 차원에 따라 독립적이지 않음을 보여준다.
• 각 층에서 파트와 전체를 자세 파rameter를 사용해 모델링하는 계층적 저차원 다양체 학습 프레임워크를 제안하며, 생성 및 판별 목표를 통합한다.
• 지표 자세 레이블을 명시적으로 사용하거나 캡슐 유사 주의 메커니즘을 통해 암시적으로 사용하는 하이브리드 학습 접근법을 도입하여, 전체 감독 없이도 의미적 구조를 학습할 수 있도록 한다.
• 신경망이 점들을 다양체 간에 매핑하면서 의미를 유지하도록, 판별 손실, 생성 손실, 자세 파rameter에 대한 회귀 손실을 조합하여 학습한다.

실험 결과

연구 질문

• RQ1 왜 딥 뉴럴 네트워크에서 적대적 예외가 존재하며, 이는 모델 특이적 행동이 아니라 고차원 기하학을 통해 설명될 수 있는가?
• RQ2 굿펠로 등(2015)이 널리 인용된 논지에서 차원 증가가 작은 L∞-노름 적대적 편향을 가능하게 한다고 주장한 오류는 무엇인가?
• RQ3 이미지 해상도 n에 따라 기대 L₂-노름 적대적 편향의 크기는 어떻게 척도가 붙으며, 이는 적대적 내성성에 어떤 의미를 갖는가?
• RQ4 자연 이미지의 다중해상도 구조는 적대적 편향의 발생 또는 제약에 어떤 역할을 하는가?
• RQ5 파트-홀 맨포ลด 학습 기반의 딥 러닝 아키텍처가 의미적 구조와 저차원 다양체를 모델링함으로써 적대적 예외를 제거할 수 있는가?

주요 결과

• 논문은 굿펠로 등(2015)의 논지에서 근본적인 오류를 특정한다: 차원 증가 시 목표 활성화 값이 일정하다는 가정은 잘못되었으며, 벡터 노름과 거리는 차원에 따라 변하기 때문이다.
• 적대적 편향의 기대 L₂-노름이 O(1/√n)로 척도가 붙음을 증명하며, 이는 이미지 해상도 n이 증가함에 따라 편향이 0으로 수렴함을 의미하므로 고해상도에서 적대적 예외는 점점 희귀해진다.
• 고차원 공간에서 다양체 상의 거의 모든 점은 표면에 가까이 있으므로, 적대적 예외는 이질적인 현상이 아니라 표면 복잡성과 고차원 여부의 자연스러운 결과이다.
• 딥 네트워크의 최적화 지형은 국소 최소점보다 기하급수적으로 많은 안장점을 포함하며, 특히 고차원 대역에서 더욱 그렇다. 이는 국소 최소점이 주요 장애물은 아니라는 주장을 지지한다.
• 자세 파rameter를 명시적 또는 암시적으로 학습하는 파트-홀 맨포ลด 학습 프레임워크는 의미적 구조를 모델링하고 각 층의 차원을 낮추어 모델 복잡도를 감소시킬 수 있다.
• 미래의 딥 네트워크는 자세 및 환경 파rameter의 생성 모델링과 판별 분류를 융합함으로써 의미적으로 유의미한 저차원 다양체를 학습함으로써, 적대적 예외를 제거할 수 있다.