[논문 리뷰] Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation

Andrew R. Barron, Jason M. Klusowski|arXiv (Cornell University)|2019. 02. 02.

VLSI and FPGA Design Techniques참고 문헌 18인용 수 18

한 줄 요약

이 논문은 총 경로 변동성 $V$를 사용하여 딥 ReLU 네트워크의 새로운 특성화를 제안하며, 통계적 리스크, 라데마처 복잡도, 가우시안 복잡도, 메트릭 엔트로피가 모두 $V$에 비례함을 보여준다. 핵심 결과는 $V$, 깊이 $L$, 입력 차원 $d$, 및 표본 크기 $n$에만 의존하는 일반화 오차 경계 $V\sqrt{L + \log d}/\sqrt{n}$ 로, 층당 뉴런 수에 관계없이 성립한다.

ABSTRACT

For any ReLU network there is a representation in which the sum of the absolute values of the weights into each node is exactly $1$, and the input layer variables are multiplied by a value $V$ coinciding with the total variation of the path weights. Implications are given for Gaussian complexity, Rademacher complexity, statistical risk, and metric entropy, all of which are shown to be proportional to $V$. There is no dependence on the number of nodes per layer, except for the number of inputs $d$. For estimation with sub-Gaussian noise, the mean square generalization error bounds that can be obtained are of order $V \sqrt{L + \log d}/\sqrt{n}$, where $L$ is the number of layers and $n$ is the sample size.

연구 동기 및 목표

• 총 경로 변동성 $V$를 사용하여 딥 ReLU 네트워크의 복잡도와 일반화 리스크를 분석하는 통합 프레임워크를 수립하기 위해.
• 라데마처, 가우시안, 메트릭 엔트로피 복잡도와 같은 핵심 복잡도 측정치가 네트워크 폭에 관계없이 모두 $V$에 비례함을 보여주기 위해.
• 총 경로 변동성 $V$, 깊이 $L$, 입력 차원 $d$, 표본 크기 $n$에만 의존하는 날카운 일반화 오차 경계를 유도하기 위해.
• 패널티 기반의 경험 리스크 최소화에서 $V$ 기반 패널티를 사용할 경우 비적응형 비율에 맞는 적응형 리스크 경계를 달성할 수 있음을 보여주기 위해.
• 딥 네트워크 맥락에서 메트릭 엔트로피와 라데마처 및 가우시안 복잡도와 같은 복잡도 측정치 간의 관계를 명확히 하기 위해.

제안 방법

• 모든 노드로 들어오는 가중치의 절대값 합이 정확히 1이 되는 임의의 ReLU 네트워크를 표현하며, 입력을 총 경로 변동성 $V$로 스케일링한다.
• 이 표현을 이용해 대칭성과 서브가우시안 농도를 활용하여 $V$에 기반한 라데마처 및 가우시안 복잡도의 경계를 설정한다.
• Fano의 부등식과 정보 이론적 추론을 적용하여 리스크 경계로부터 메트릭 엔트로피 경계를 유도하고, 복잡도와 일반화를 연결한다.
• 가우시안 및 라데마처 복잡도를 포함하는 비교 부등식을 통해 일반화 오차 경계를 유도하며, $V$, $L$, $d$, $n$에 명시적인 의존성을 포함한다.
• 패널티 기반 경험 리스크 최소화에서 $V$ 기반 패널티를 사용할 경우 비적응형 비율에 맞는 적응형 리스크 경계를 달성함을 입증한다.
• 커버링 추론과 경로 변동성을 활용하여 함수 클래스 ${\mathcal{F}}_{L,V,B}$ 의 메트릭 엔트로피가 $O(V \cdot (L + \log d))$ 이하로 유계임을 증명한다.

실험 결과

연구 질문

• RQ1 총 경로 변동성 $V$ 는 네트워크 폭에 대한 의존성을 포함하여 딥 ReLU 네트워크의 통합 복잡도 측정치로 기능할 수 있는가?
• RQ2 일반화 오차가 $V$, 깊이 $L$, 입력 차원 $d$, 표본 크기 $n$ 에 어떻게 의존하는가?
• RQ3 딥 네트워크 함수 클래스에서 라데마처, 가우시안, 메트릭 엔트로피 복잡도는 상호 어떻게 관련되어 있는가?
• RQ4 패널티 기반 경험 리스크 최소화에서 $V$ 기반 패널티를 통해 적응형 리스크 경계를 달성할 수 있는가?
• RQ5 $V\sqrt{L + \log d}/\sqrt{n}$ 일반화 오차 경계는 날카롭고, 최소최대 하한선과 일치하는가?

주요 결과

• 서브가우시안 노이즈 하에서 최소제곱 추정의 일반화 오차는 $2V(\sigma + 4B)\sqrt{2(L\log 2 + \log(2d))/n}$ 이하로 유계이며, 이는 $V$, $L$, $d$, $n$ 에 대한 명시적 의존성을 보여준다.
• 라데마처 복잡도와 가우시안 복잡도 모두 $O(V\sqrt{(L + \log d)/n})$ 이하로 상한이 존재하며, 층당 뉴런 수에 대한 의존성이 없다.
• 함수 클래스 ${\mathcal{F}}_{L,V,B}$ 의 메트릭 엔트로피는 커버링 추론과 경로 변동성을 활용해 $O(V(L + \log d))$ 이하로 유계이다.
• 패널티 기반 경험 리스크 최소화에서 $V$ 기반 패널티를 사용할 경우, $\|f - f^*\|^2 + V(f)\lambda_n$ 형태의 적응형 리스크 경계를 달성하며, 이때 $\lambda_n \asymp \sqrt{(L + \log d)/n}$ 이다. 이는 비적응형 비율과 일치한다.
• $V\sqrt{L + \log d}/\sqrt{n}$ 경계는 단일 은닉층 네트워크에 대해 알려진 최소최대 하한선과 일치하므로 본질적으로 최적임을 입증하였다.
• 논문은 메트릭 엔트로피와 라데마처 및 가우시안 복잡도와 같은 복잡도 측정치 간의 상호관계를 정보 이론적 부등식을 통해 규명하였으며, 메트릭 엔트로피가 복잡도를 하한으로 제공함을 보였다.