[논문 리뷰] Compression based bound for non-compressed network: unified generalization error analysis of large compressible deep neural network

Taiji Suzuki, Hiroshi Abe외 1명|arXiv (Cornell University)|2019. 09. 25.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 11

한 줄 요약

이 논문은 기존에 압축 모델에만 적용 가능했던 압축 기반 일반화 오차 한계를 압축되지 않은 원본 딥 뉴럴 네트워크에 적용할 수 있는 통합 프레임워크를 제안한다. 데이터에 의존하는 국소 라데마처 복잡도와 편향 항의 개선을 통해, 과다 매개변수화된 네트워크에서 일반화를 더 잘 설명하는 더 날카운 일반화 오차 한계를 도출한다. 특히 공분산 기반 압축을 사용할 경우, 가중치 기반 저질서 근사보다 제곱 개선을 제공한다.

ABSTRACT

One of the biggest issues in deep learning theory is the generalization ability of networks with huge model size. The classical learning theory suggests that overparameterized models cause overfitting. However, practically used large deep models avoid overfitting, which is not well explained by the classical approaches. To resolve this issue, several attempts have been made. Among them, the compression based bound is one of the promising approaches. However, the compression based bound can be applied only to a compressed network, and it is not applicable to the non-compressed original network. In this paper, we give a unified frame-work that can convert compression based bounds to those for non-compressed original networks. The bound gives even better rate than the one for the compressed network by improving the bias term. By establishing the unified frame-work, we can obtain a data dependent generalization error bound which gives a tighter evaluation than the data independent ones.

연구 동기 및 목표

• 과다 매개변수화된 딥 네트워크에서 고전적 한계가 실패하는 일반화 이론의 격차를 해소하기 위해.
• 압축 모델에만 적용 가능했던 압축 기반 일반화 오차 한계를 압축되지 않은 원본 네트워크로 확장하기 위해.
• 기존의 데이터 독립적 또는 노름 기반 한계보다 더 날카운 데이터에 의존하는 한계를 개발하기 위해.
• 고도로 매개변수화된 네트워크가 높은 능력에도 불구하고 잘 일반화되는 이유를 암묵적 정규화와 압축 가능성에 의해 설명하기 위해.
• 원본 네트워크의 압축 성질과 일반화 성능 간의 관계를 연결함으로써 이론적 분석을 통합하기 위해.

제안 방법

• 압축된 네트워크에서의 압축 기반 한계를 원본 압축되지 않은 네트워크로 이전할 수 있는 통합 이론적 프레임워크를 도입하기 위해.
• 클래식한 VC 스타일의 한계를 피하기 위해, 원본 및 압축된 네트워크 간의 인구 $L_2$-거리 제어를 위해 국소 라데마처 복잡도를 사용하기 위해.
• 활성화의 공분산 행렬을 통해 데이터에 의존하는 능력 제어를 적용하여, 가중치 행렬보다 데이터 특유의 부족함을 더 효과적으로 포착하기 위해.
• 공분산 기반 압축에 의해 제곱 스케일링을 통해 편향 항을 개선함으로써 더 날카운 일반화 오차 한계를 도출하기 위해.
• SGD가 저질서 구조를 유도한다는 암묵적 편향 가설을 활용하여, 훈련된 네트워크의 압축 가능성을 정당화하기 위해.
• 가중치 행렬과 활성화 공분산 행렬을 모두 사용하여 내재 차원을 분석하여, 후자가 더 낮은 효과적 차원을 제공함을 보여주기 위해.

실험 결과

연구 질문

• RQ1 압축 기반 일반화 오차 한계를 원본 압축되지 않은 딥 뉴럴 네트워크에 의미 있게 적용할 수 있는가?
• RQ2 고전적인 VC 스타일의 한계를 피하기 위해 원본 및 압축된 네트워크 간의 인구 $L_2$-거리가 어떻게 날카운 한계로 제약될 수 있는가?
• RQ3 특히 활성화 공분산 행렬을 통한 데이터에 의존하는 압축이 일반화 오차 한계 향상에 어떤 역할을 하는가?
• RQ4 왜 고도로 매개변수화된 딥 네트워크는 높은 매개변수 수에도 불구하고 잘 일반화되는가? 이는 압축 가능성과 암묵적 편향을 통해 설명될 수 있는가?
• RQ5 공분산 기반 압축과 가중치 기반 저질서 근사 간의 효과적 차원과 한계 날카움 측면에서의 비교는 어떻게 되는가?

주요 결과

• 개선된 편향 항 제어 덕분에 원본 네트워크에 대한 제안된 한계는 압축된 네트워크에 대한 한계보다 더 날카롭다.
• 공분산 기반 압축은 내재 차원에서 선형적 향상보다 제곱 개선을 제공하여 우수한 성능을 보인다.
• 내재 차원은 실제 매개변수 수보다 현저히 작으며, 특히 더 깊은 층(예: c8에서 l18)에서 정보 정련이 일어남을 시사한다.
• 모든 층에서 공분산 행렬을 사용한 내재 차원은 가중치 행렬을 사용한 것보다 항상 낮으며, 특히 높은 임계값(예: $\nu = 10^{-3}$)에서 두드러진다.
• 특히 깊은 네트워크에서 고전적인 VC 차원 및 노름 기반 한계보다 더 날카운 일반화 오차 한계를 달성한다.
• 분석 결과, 가중치 행렬과 활성화 공분산 행렬의 저질서 근사를 동시에 적용할 경우 더 날카운 한계를 도출할 수 있으며, 이는 제안된 통합 프레임워크를 통해 실현 가능하다.