[논문 리뷰] ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction

Kwan Ho Ryan Chan, Yaodong Yu외 4명|arXiv (Cornell University)|2021. 05. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 146인용 수 54

한 줄 요약

ReduNet은 코딩 속도 감소 목표를 최대화하여 화이트박스 딥 네트워크를 도출하고, 해석 가능한 연산자를 갖는 계층별로 구성된 네트워크와 이동/불변성 하에서의 컨볼루션 형태를 제공합니다. 예비 실험을 통해 입증되었습니다.

ABSTRACT

This work attempts to provide a plausible theoretical framework that aims to interpret modern deep (convolutional) networks from the principles of data compression and discriminative representation. We argue that for high-dimensional multi-class data, the optimal linear discriminative representation maximizes the coding rate difference between the whole dataset and the average of all the subsets. We show that the basic iterative gradient ascent scheme for optimizing the rate reduction objective naturally leads to a multi-layer deep network, named ReduNet, which shares common characteristics of modern deep networks. The deep layered architectures, linear and nonlinear operators, and even parameters of the network are all explicitly constructed layer-by-layer via forward propagation, although they are amenable to fine-tuning via back propagation. All components of so-obtained "white-box" network have precise optimization, statistical, and geometric interpretation. Moreover, all linear operators of the so-derived network naturally become multi-channel convolutions when we enforce classification to be rigorously shift-invariant. The derivation in the invariant setting suggests a trade-off between sparsity and invariance, and also indicates that such a deep convolution network is significantly more efficient to construct and learn in the spectral domain. Our preliminary simulations and experiments clearly verify the effectiveness of both the rate reduction objective and the associated ReduNet. All code and data are available at \url{https://github.com/Ma-Lab-Berkeley}.

연구 동기 및 목표

• 데이터 압축과 속도 감소를 기반으로 한 판별 표현 학습의 원리 있는 목표를 제시한다.
• 속도 감소 목표가 명시적 최적화 및 기하학적 해석을 갖는 층별 네트워크 설계(ReduNet)로 이어짐을 보인다.
• 네트워크 구성 요소가 이동-불변성 하에서 다채널 컨볼루션이 됨을 보여주고, 희소성-불변성의 트레이드오프를 분석한다.
• 최종적으로 역전파에 의존하는 엔드 투 엔드 방식의 백프롭에 대한 분석 가능하고 검증 가능한 화이트박스 대안을 제시한다.

제안 방법

• 최대 코딩 속도 감소(MCR2) 목표를 데이터셋 전체의 코딩 속도와 클래스별 하위집합의 코딩 속도 합의 차로 정의한다.
• 깊은 네트워크 아키텍처(ReduNet)로 자연스럽게 펼쳐지는 그래디언트 상승 역학을 층별 구성으로 도출한다.
• ReduNet의 선형 연산자가 이동/불변성을 강제할 때 다채널 컨볼루션이 됨을 보인다.
• 불변 속도 감소 설정에서 희소성-불변성 간의 트레이드를 확립하고 스펙트럼 도메인 계산을 논의한다.
• 명시적 최적화 해석이 있는 순전파 구성의 네트워크 층을 제시하고, 미세조정을 위한 역전파와 재사용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 고차원 다 클래스 데이터의 구조를 가장 잘 포착하는 원리적 목표는 무엇인가?
• RQ2 최적화 목표로부터 구성적으로 도출된 깊은 네트워크 아키텍처를 heuristically 설계 없이 얻을 수 있는가?
• RQ3 속도 감소가 선형 및 비선형 연산자의 설계에 어떤 지침을 주며 다채널 컨볼루션의 역할은 무엇인가?
• RQ4 속도 감소 표현에서 불변성과 희소성의 트레이드오프는 무엇이며 이를 어떻게 효율적으로 계산할 수 있는가?
• RQ5 결과로 얻은 ReduNet 구성요소가 해석 가능하고 검증 가능한 최적화 보장을 제공하는가?

주요 결과

• 속도 감소 목표는 클래스 간 차별화를 통해 데이터 집합 전체의 코딩 속도와 클래스 하위집합 간의 차이를 최대화함으로써 클래스 내 응집성과 클래스 간 판별을 촉진한다.
• 속도 감소를 위한 그래디언트 상승 스키마는 각 구성요소가 명확한 최적화, 통계적, 기하학적 해석을 가진 다층 네트워크(ReduNet)로 구성되도록 한다.
• 이동/불변성 제약하에서 ReduNet의 선형 연산자는 다채널 컨볼루션이 되어 스펙트럼 도메인 계산을 가능하게 한다.
• 불변 속도 감소 설정에서 근본적인 희소성-불변성 트레이드오프가 존재하며, 이는 평행/회전 불변성에 대한 네트워크 설계에 정보를 제공한다.
• 예비 실험은 속도 감소 목표와 ReduNet 구조의 효과를 확인하며, 코드와 데이터가 공개적으로 이용 가능하다.