[논문 리뷰] Deep Networks from the Principle of Rate Reduction

Kwan Ho Ryan Chan, Yaodong Yu외 4명|arXiv (Cornell University)|2020. 10. 27.

Face and Expression Recognition참고 문헌 52인용 수 9

한 줄 요약

이 논문은 비율 감소 원리에서 깊이 있는 합성곱 신경망을 유도하며, 이 목적 함수에 대해 반복적인 기울기 상승을 수행할 경우 계층적 아키텍처가 자연스럽게 유도되며, 이는 최적화, 통계적, 기하학적 의미를 모두 지닌다. 유도된 'ReduNet'은 역전파 없이도 분류 가능하고, 이동 불변 표현을 학습하며, 스펙트럼 도메인에서 다중 채널 합성곱을 통해 더 효율적으로 구성된다.

ABSTRACT

This work attempts to interpret modern deep (convolutional) networks from the principles of rate reduction and (shift) invariant classification. We show that the basic iterative gradient ascent scheme for optimizing the rate reduction of learned features naturally leads to a multi-layer deep network, one iteration per layer. The layered architectures, linear and nonlinear operators, and even parameters of the network are all explicitly constructed layer-by-layer in a forward propagation fashion by emulating the gradient scheme. All components of this "white box" network have precise optimization, statistical, and geometric interpretation. This principled framework also reveals and justifies the role of multi-channel lifting and sparse coding in early stage of deep networks. Moreover, all linear operators of the so-derived network naturally become multi-channel convolutions when we enforce classification to be rigorously shift-invariant. The derivation also indicates that such a convolutional network is significantly more efficient to construct and learn in the spectral domain. Our preliminary simulations and experiments indicate that so constructed deep network can already learn a good discriminative representation even without any back propagation training.

연구 동기 및 목표

• 현대의 깊이 있는 합성곱 신경망을 원칙에 기반해 처음부터 유도하는 것.
• 다중 채널 특징 학습, 비선형성, 가중치 공유의 역할을 최적화 이론을 통해 조기에 설명하는 것.
• 네트워크 아키텍처, 연산자, 파rameter들이 계층적으로 명확한 기하학적 및 통계적 의미를 지닌 채로 구성되는 프레임워크를 수립하는 것.
• 역전파 학습 없이도 깊이 있는 네트워크가 양호한 분류 성능을 달성할 수 있음을 보여주는 것.
• 이동 불변 표현이 자연스럽게 다중 채널 합성곱 네트워크로 이어지며, 특히 스펙트럼 도메인에서 매우 효율적임을 보여주는 것.

제안 방법

• 논문은 분류 목적의 특징 표현을 위한 코딩 비율 감소를 최대화하는 목적 함수로 비율 감소 목적을 수립한다.
• 비율 감소 목적 함수에 대해 반복적인 기울기 상승 기법을 적용하며, 이는 각 반복마다 한 계층씩 구성되는 다중 계층 네트워크를 자연스럽게 유도한다.
• 각 계층의 선형 및 비선형 연산자는 기울기 갱신 규칙에서 명시적으로 유도되며, 최적화 및 기하학적 해석 가능성을 보장한다.
• 이동 불변성을 강제함으로써 도출된 선형 연산자는 다중 채널 합성곱이 되며, 자연스럽게 합성곱 아키텍처로 이어진다.
• 이 방법은 스펙트럼(푸리에) 도메인에서 네트워크의 구성과 학습을 효율적으로 가능하게 하며, 시각 피질의 신경 코딩과 유사하다.
• 모든 구성 요소—가중치, 활성화, 아키텍처—가 정밀한 이론적 기반을 지닌 '백박스' 네트워크를 구성하는 데에 기여한다.

실험 결과

연구 질문

• RQ1 깊이 있는 합성곱 신경망 아키텍처는 경험적 설계가 아닌 원칙에 기반해 도출될 수 있는가?
• RQ2 깊이 있는 네트워크에서 다중 계층 특징 학습의 최적화 이론적 기반은 무엇인가?
• RQ3 왜 다중 채널 합성곱과 비선형성이 조기에 자연스럽게 나타나는가?
• RQ4 원칙적인 네트워크 설계에서 이동 불변성을 엄밀히 강제할 수 있는가?
• RQ5 역전파 없이도 깊이 있는 네트워크가 효과적인 표현을 학습할 수 있는가?

주요 결과

• 비율 감소 목적 함수에 대한 반복적 기울기 상승은 각 반복마다 한 계층씩 구성되는 깊이 있는 네트워크 아키텍처를 생성하며, 각 계층의 구성 요소는 최적화 및 기하학적 의미를 명시적으로 갖는다.
• 이론적으로 도출된 네트워크인 ReduNet은 역전파 학습 없이도 1D 함수 및 MNIST 데이터셋에서 양호한 분류 성능을 달성한다.
• 이동 불변성이 강제될 경우, 네트워크의 선형 연산자는 다중 채널 합성곱이 되며, 자연스럽게 합성곱 아키텍처를 형성한다.
• 스펙트럼 도메인에서 네트워크의 학습과 구성이 훨씬 더 효율적이며, 이는 뇌 기반 신경 정보 처리 메커니즘과 생물학적으로 타당한 메커니즘을 시사한다.
• 余弦 유사도 분석 결과, 학습된 표현은 서로 다른 클래스 간에 수직임을 보이며, 강력한 분류 능력을 나타낸다.
• 프레임워크는 초기 계층에서 다중 채널 리프팅과 희박 코딩의 역할을 비율 감소 원리의 자연스러운 결과로 설명한다.