[논문 리뷰] Generalization bounds via distillation

Daniel Hsu, Ziwei Ji외 2명|arXiv (Cornell University)|2021. 04. 12.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 14

한 줄 요약

이 논문은 잘 조절된 데이터 증강 기법을 사용할 경우, 고복잡도 신경망이 간소화된, 더 단순한 복제본으로부터 개선된 일반화 경계를 습득할 수 있음을 보여주며, 정규화와 일반화 사이의 이론적 연결 고리를 확립한다. 주요 기여는 ResNet 아키텍처에 대해 구체적인 경계를 제공하고 실험을 통해 검증한 원본 네트워크의 일반화 경계를 제안하는 것으로, 이 경계는 정규화의 복잡도에 비례한다. CIFAR-10과 MNIST에서의 실험 결과를 바탕으로, 이 경계는 기존의 이론적 경계보다 훨씬 더 날카롭게 작용한다.

ABSTRACT

This paper theoretically investigates the following empirical phenomenon: given a high-complexity network with poor generalization bounds, one can distill it into a network with nearly identical predictions but low complexity and vastly smaller generalization bounds. The main contribution is an analysis showing that the original network inherits this good generalization bound from its distillation, assuming the use of well-behaved data augmentation. This bound is presented both in an abstract and in a concrete form, the latter complemented by a reduction technique to handle modern computation graphs featuring convolutional layers, fully-connected layers, and skip connections, to name a few. To round out the story, a (looser) classical uniform convergence analysis of compression is also presented, as well as a variety of experiments on cifar and mnist demonstrating similar generalization performance between the original network and its distillation.

연구 동기 및 목표

• 딥 러닝에서 표준 경계가 너무 느슨하기 때문에 이론적 일반화 경계와 실제 성능 사이의 괴리를 해결하기 위해.
• 간소화된 네트워크임에도 불구하고 원본 복잡한 모델과 유사한 테스트 정확도를 유지하는 경험적 현상에 대한 설명을 제공하기 위해.
• 잘 조절된 데이터 증강 조건 하에서 원본 네트워크가 정규화된 복제본의 개선된 일반화 경계를 이론적으로 습득함을 보여주기 위해.
• 합성곱 레이어, 완전 연결 레이어, 스킵 연결을 처리할 수 있는 감소 기법을 사용하여 ResNet 스타일 아키텍처에 대해 구체적인 일반화 경계를 제공하기 위해.
• 기존의 균일 수렴 분석은 더 느슨한 경계를 제공하므로, 이론적 경계의 타당성을 높이기 위한 보조 기준으로 제공하기 위해.

제안 방법

• 소프트맥스 출력을 온도 γ로 측정한 정규화 거리 기반의 추상적 일반화 경계(보조정리 1.1)를 제안하며, 안정성을 확보하기 위해 데이터 증강을 적용한다.
• 정규화 거리가 강건하고 이론적 분석에 적합하도록 잘 조절된 데이터 증강 기법(보조정리 1.2)을 도입한다.
• 합성곱 레이어, 완전 연결 레이어, 스킵 연결을 처리할 수 있도록 문제를 계층별로 가중치 행렬의 커버링으로 환원하고, 프로베니우스 노름 기반 오차 경계를 적용하여 ResNet 아키텍처에 대해 구체적인 일반화 경계(정리 1.3)를 도출한다.
• 각 계층의 너비(k_j)와 근사 오차(ε_j) 사이의 균형을 확보하기 위해 라그랑주 최적화 기법을 사용하며, 총 오차 제약 조건 하에 커버링의 기수를 최소화한다.
• 드듈의 엔트로피 적분을 적용하여 원본 네트워크의 라데마처 복잡도를 경계화함으로써, 최종 일반화 경계를 유도하며, 이 경계는 네트워크 너비, 스펙트럴 노름, 및 구조적 희소성에 의존한다.
• 기존의 균일 수렴 분석(정리 1.4)을 보조적으로 제공하나, 이는 주요 방법에 비해 훨씬 느슨한 경계를 제공한다.

실험 결과

연구 질문

• RQ1 복잡한 신경망의 일반화 성능은 그가 생성한 단순한 복제본을 통해 이론적으로 설명될 수 있는가?
• RQ2 잘 조절된 데이터 증강은 정규화 기반 경계의 안정성과 일반화에 어떤 영향을 미치는가?
• RQ3 정규화된 네트워크의 일반화 경계는 원본 고복잡도 모델로 얼마나 잘 되돌려질 수 있는가?
• RQ4 스킵 연결과 합성곱 레이어와 같은 아키텍처 구성 요소는 일반화 경계 유도 과정에 어떤 영향을 미치는가?
• RQ5 제안된 경계는 전통적인 균일 수렴 경계와 비교해 볼 때 얼마나 날카롭고 실용적인가?

주요 결과

• 원본 ResNet은 MNIST에서 테스트 오차 0.008, CIFAR-10에서 0.067를 기록했고, 표준 일반화 경계는 10^15에 이르게 느슨하여 고전적 경계의 괴리가 잘 알려져 있음을 시사한다.
• 정규화 후 동일한 모델의 일반화 경계는 약 10^10 배 감소하여 이론적 날카기의 급격한 향상이 입증되었다.
• 정규화된 네트워크는 원본과 거의 동일한 예측과 테스트 오차를 유지하며, 정규화가 복잡도를 감소시키면서도 예측 성능을 유지함을 확인하였다.
• 제안된 경계(정리 1.3)는 정규화된 네트워크의 라데마처 복잡도에 비례하며, 가중치 행렬의 프로베니우스 노름, 스펙트럴 노름, 및 계층 너비에 의존한다.
• 라그랑주 기반 계층 너비 선택 전략은 총 근사 오차가 ε 이내로 제한되며, 커버링 기수의 로그는 O(β/ε^4)로 유계이다. 여기서 β는 네트워크 깊이, 너비, 노름 항목을 포함한다.
• 최종 라데마처 복잡도 경계는 O(n^{1/4} β^{1/4})로 표현되며, β는 입력 노름, 가중치 행렬 노름, 및 구조적 희소성의 함수이다. 이는 고전적 경계에 비해 너비에 대한 더 나은 의존성을 보여준다.