[논문 리뷰] On the Emergence of Invariance and Disentangling in Deep Representations.

Alessandro Achille, Stefano Soatto|arXiv (Cornell University)|2017. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 3인용 수 38

한 줄 요약

이 논문은 깊이 있는 신경망에서의 불변성(invariance)이 쌓기(stacking)와 노이즈 주입을 통해 최소 표현 학습(minimal representation learning)을 통해 자연스럽게 발생함을 밝혀내며, 경험적 손실의 정보 분해를 통해 가중치 정보 내용과 활성화 최소성 사이의 엄밀한 연결 고리를 설정한다. 핵심 기여는 가중치 정보와 활성화 최소성, 총 상관관계(total correlation)를 연결하는 날카운 불등식을 도출함으로써 일반화와 최적화 기하학에 대한 오랫동안 남아있던 수수께끼를 해결하는 데 있다.

ABSTRACT

Using classical notions of statistical decision and information theory, we show that invariance in a deep neural network is equivalent to minimality of the representation it computes, and can be achieved by stacking layers and injecting noise in the computation, under realistic and empirically validated assumptions. We use an Information Decomposition of the empirical loss to show that overfitting can be reduced by limiting the information content stored in the weights. We then present a sharp inequality that relates the information content in the weights -- which are a representation of the training set and inferred by generic optimization agnostic of invariance and disentanglement -- and the minimality and total correlation of the activation functions, which are a representation of the test datum. This allows us to tackle recent puzzles concerning the generalization properties of deep networks and their relation to the geometry of the optimization residual.

연구 동기 및 목표

• 깊이 있는 네트워크가 높은 용량을 지니고 있음에도 불구하고 일반화가 잘 되는 이유를 불변성과 표현 최소성의 연결을 통해 설명하기 위해.
• 딥 러닝에서 오랫동안 남아있던 일반화와 최적화 잔여 기하학에 대한 수수께끼를 해결하기 위해.
• 통계적 결정 이론과 정보 분해를 사용하여 불변성과 분리성의 발생을 체계화하기 위해.
• 네트워크 가중치에 저장된 정보량을 제한함으로써 과적합을 줄일 수 있음을 보여주기 위해.
• 가중치 정보, 활성화 최소성, 총 상관관계를 연결하는 날카운 불등식을 유도하기 위해.

제안 방법

• 통계적 결정 이론과 정보 이론을 사용하여 표현 최소성을 불변성과 동치로 모델링한다.
• 경험적 손실의 정보 분해를 적용하여 가중치 정보가 과적합에 어떤 영향을 미치는지 분석한다.
• 네트워크 가중치의 정보 내용과 활성화 함수의 최소성 및 총 상관관계를 연결하는 날카운 불등식을 도입한다.
• 노이즈 주입과 층 쌓기를 통해 표현 최소성에 기반한 불변성을 강제하는 메커니즘으로 활용한다.
• 유도된 정보 이론적 관계를 바탕으로 최적화 잔여 기하학을 분석한다.
• 데이터와 네트워크 행동에 대한 경험적으로 검증된 가정을 기반으로 운영한다.

실험 결과

연구 질문

• RQ1 깊이 있는 네트워크에서 불변성은 최적화 역학으로부터 어떻게 발생하는가?
• RQ2 가중치 정보 내용과 일반화 성능 사이의 정확한 관계는 무엇인가?
• RQ3 어떻게 쌓기와 노이즈 주입이 최소 표현, 불변 표현을 이끌어내는가?
• RQ4 활성화의 총 상관관계가 표현 부복잡성(redundancy)을 최소화하는 데 어떤 역할을 하는가?
• RQ5 최적화 잔여 기하학은 학습된 표현의 불변성과 분리성과 어떤 관련이 있는가?

주요 결과

• 정보 이론에서 정의한 표현 최소성과 동치로 깊이 있는 네트워크의 불변성이 공식적으로 정의된다.
• 학습 중에 노이즈를 주입하고 층을 쌓는 것은 최소 표현을 촉진함으로써 불변 표현을 이끌어낸다.
• 경험적 손실 분해를 통해 네트워크 가중치에 저장된 정보량을 제한함으로써 과적합이 감소함을 보여준다.
• 가중치 정보와 활성화 최소성, 총 상관관계를 연결하는 날카운 불등식이 도출되었으며, 이는 일반화의 이론적 기초를 제공한다.
• 최적화 잔여 기하학이 학습된 표현의 불변성과 분리성 특성과 내재적으로 연결되어 있음이 입증되었다.
• 이 프레임워크는 표현의 정보 이론적 원리와 연결함으로써 딥 네트워크에서의 일반화에 대한 핵심 수수께끼를 해결한다.