[논문 리뷰] On the Stability of Deep Networks

Raja Giryes, Guillermo Sapiro외 1명|arXiv (Cornell University)|2014. 12. 18.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 10

한 줄 요약

이 논문은 무작위 가우시안 가중치를 가진 딥 네ural 네트워크가 입력 데이터의 거리 구조를 유지하는 임bedding을 수행함을 증명한다. 이는 계층 간에 거리 구조가 유지됨을 의미한다. 주요 기여는 이러한 네트워크가 특징에서 데이터를 안정적으로 복원하는 이유에 대한 이론적 근거를 제공하며, 데이터의 내재 차원에 따라 학습 데이터 요구량이 지수적으로 증가함을 가우시안 평균 폭과 커버링 수를 통해 수식화한 것이다.

ABSTRACT

In this work we study the properties of deep neural networks (DNN) with random weights. We formally prove that these networks perform a distance-preserving embedding of the data. Based on this we then draw conclusions on the size of the training data and the networks' structure. A longer version of this paper with more results and details can be found in (Giryes et al., 2015). In particular, we formally prove in the longer version that DNN with random Gaussian weights perform a distance-preserving embedding of the data, with a special treatment for in-class and out-of-class data.

연구 동기 및 목표

• 무작위 가중치를 가진 딥 네럴 네트워크가 입력 데이터의 구조를 유지하는 데 있어 경험적 성공을 이론적으로 설명하는 것.
• 데이터 복잡성(내재 차원)과 필요한 학습 샘플 크기 사이의 관계를 설정하는 것.
• 무작위 가중치를 가진 딥 네트워크가 특징 표현에서 입력 데이터를 안정적으로 복원할 수 있음을 수식화하는 것.
• 기하확률 도구를 사용해 연속된 계층을 거쳐 특징 임베딩의 안정성을 분석하는 것.

제안 방법

• 독립 동일 분포를 가진 성분을 가진 무작위 가우시안 행렬과 반절단 선형 활성화 함수를 사용한 단일 DNN 계층의 이론적 분석.
• 고차원 확률론의 결과(Plan & Vershynin, 2014; Klartag & Mendelson, 2005)를 적용하여 Gromov-Hausdorff 의미에서의 안정적 임베딩을 증명하는 것.
• 커버링 수와 델리의 부등식을 사용해 계층 간 가우시안 평균 폭의 변화를 근사하는 것.
• 수도코프 최소화를 통한 학습 샘플 수의 경계 유도로 데이터 복잡성과 샘플 복잡성 간의 연결 고리 설정.
• 가우시안 혼합 모델(GMM)과 부분공간의 합집합과 같은 모델로 결과 확장하여 폭이 차원과 log-L에 따라 증가함을 보여주는 것.
• 오차가 O(ω(K)/√m)로 제한되는 복원 프로그램 A를 통한 특징 복원의 공식적 처리.

실험 결과

연구 질문

• RQ1 무작위 가중치를 가진 딥 네럴 네트워크는 입력 데이터의 거리 관계를 어떻게 유지하는가?
• RQ2 이러한 네트워크에서 효과적인 일반화를 위해 필요한 학습 샘플 수는 무엇에 의해 결정되는가?
• RQ3 무작위 가중치를 가진 DNN가 생성한 특징에서 입력 데이터를 안정적으로 복원할 수 있는가?
• RQ4 데이터의 내재 차원은 무작위 DNN의 안정성과 샘플 복잡성에 어떤 영향을 미치는가?
• RQ5 무작위 DNN의 계층을 거쳐 데이터가 전파될수록 가우시안 평균 폭은 어느 정도 변화하는가?

주요 결과

• 무작위 가우시안 가중치와 반절단 선형 활성화 함수를 가진 단일 DNN 계층은 입력 데이터 포인트 간의 거리를 높은 확률로 유지하며, ‖x−y‖₂ ≃ d(f(Mx),f(My))로 수식화된다.
• 특징에서 입력 데이터의 복원 오차는 ε = O(ω(K)/√m)로 제한되며, 이는 이론적으로 안정적 복원이 가능하다는 것을 증명한다.
• 각 계층의 특징 공간의 커버링 수는 N(f(MK),ε) ≤ N(K, ε/(1 + ω(K)/√m))로 유한하게 증가함을 나타내며, 이는 거리 왜곡이 통제 가능함을 의미한다.
• L개의 성분과 차원 k를 가진 가우시안 혼합 모델의 경우, 가우시안 평균 폭 ω(K)는 O(√(k + log L))로 유계이며, 이는 데이터 복잡성과 네트워크 행동 간의 연결 고리를 제공한다.
• 필요한 학습 샘플 수는 O(exp(ω(K)²/ε²))로 증가하며, 이는 데이터의 내재 차원에 대해 지수적 의존성을 의미한다.
• 분석은 서브가우시안 가중치 분포와 무작위 컨볼루션 필터로 확장되며, 압축 측정 및 무작위 행렬 이론의 기존 기법을 활용한다.