[논문 리뷰] Fantastic Four: Differentiable Bounds on Singular Values of Convolution Layers

Sahil Singla, Soheil Feizi|arXiv (Cornell University)|2019. 11. 22.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 7

한 줄 요약

이 논문은 2D 컨볼루션 레이어의 스펙트럴 노름에 대한 네 가지 미분 가능하고 효율적인 상한을 제안하며, 그 중 하나는 필터 크기로 스케일된 Miyato 등의 히وري스틱 방법과 동일하다. 이러한 상한들의 최소값을 취함으로써, 계산 오버헤드를 거의 느끼지 못하는 상황에서 일반화와 강건성 향상을 위한 날카운, 훈련 가능한 정규화 기법을 달성한다. MNIST 및 CIFAR-10에서 성능 향상이 이루어진다.

ABSTRACT

In deep neural networks, the spectral norm of the Jacobian of a layer bounds the factor by which the norm of a signal changes during forward/backward propagation. Spectral norm regularizations have been shown to improve generalization, robustness and optimization of deep learning methods. Existing methods to compute the spectral norm of convolution layers either rely on heuristics that are efficient in computation but lack guarantees or are theoretically-sound but computationally expensive. In this work, we obtain the best of both worlds by deriving {\it four} provable upper bounds on the spectral norm of a standard 2D multi-channel convolution layer. These bounds are differentiable and can be computed efficiently during training with negligible overhead. One of these bounds is in fact the popular heuristic method of Miyato et al. (multiplied by a constant factor depending on filter sizes). Each of these four bounds can achieve the tightest gap depending on convolution filters. Thus, we propose to use the minimum of these four bounds as a tight, differentiable and efficient upper bound on the spectral norm of convolution layers. We show that our spectral bound is an effective regularizer and can be used to bound either the lipschitz constant or curvature values (eigenvalues of the Hessian) of neural networks. Through experiments on MNIST and CIFAR-10, we demonstrate the effectiveness of our spectral bound in improving generalization and provable robustness of deep networks.

연구 동기 및 목표

• 컨볼루션 레이어에 대한 효율적이고, 미분 가능하며, 이론적으로 타당한 스펙트럴 노름 상한의 부족을 해결하기 위해.
• 대규모 컨볼루션 네트워크에서 자명하게 자코비안 스펙트럴 노름을 계산하는 데 있어 계산적으로 불가능한 문제를 해결하기 위해.
• 컨볼루션 자코비안의 구조적 희소성로 인해 기존 방법에서 기울기 계산이 일관되지 않거나 잘못된 기울기를 유도하는 문제를 해결하기 위해.
• 모델의 일반화와 적대적 강건성 향상을 위해 리프시츠 상수와 헤시안 곡률을 날카운 상한으로 둘 수 있는 실용적인 정규화 기법을 개발하기 위해.
• 정확한 스펙트럴 노름 계산의 대안으로서 이론적 보장을 유지하면서 동시에 엔드 투 엔드 훈련을 가능하게 하는 확장 가능한 방법을 제공하기 위해.

제안 방법

• 행렬 분석과 특이값 분해를 사용하여 2D 다중채널 컨볼루션 레이어의 스펙트럴 노름에 대해 네 가지 증명 가능하게 타당한 상한을 유도한다.
• 각 상한은 미분 가능하며, 변환된 필터 행렬에 대한 거듭제곱 반복을 통해 O(n²) 시간 내에 계산 가능하며, 명시적 자코비안 구축을 피한다.
• 네 상한 중 하나는 필터 높이와 너비에 따라 스케일된 요소에 의해 Miyato 등의 가중치 정규화 히وري스틱과 수학적으로 동일하다.
• 훈련 중 진짜 스펙트럴 노름의 날카운, 미분 가능하고 효율적인 대체량으로 네 상한의 최소값을 사용하는 것을 제안한다.
• 최소 상한을 정규화 기법으로 활용하여 네트워크의 리프시츠 상수와 곡률(헤시안 고유값)을 제어한다.
• 이를 통해 곡률 기반 강건성 인증 프레임워크(CRC)에 상한을 통합함으로써 인증된 강건성에 적합하도록 방법을 변형한다.

실험 결과

연구 질문

• RQ1 컨볼루션 레이어의 스펙트럴 노름에 대해 증명 가능하게 타당하고, 미분 가능하며 효율적인 상한을 도출할 수 있는가?
• RQ2 제안된 최소 상한은 기존의 히وري스틱 및 정확한 방법과 비교해 보았을 때, 날카움 정도와 훈련 효율성 측면에서 어떻게 다른가?
• RQ3 제안된 스펙트럴 상한은 딥 네트워크의 일반화와 강건성 향상에 어느 정도 기여하는가?
• RQ4 스펙트럴 상한을 사용하여 표준 벤치마크에서 의미 있는 정확도를 갖는 인증된 강건성 인증서를 계산할 수 있는가?
• RQ5 컨볼루션 레이어의 구조적 희소성로 인해 기울기 계산이 비일관되거나 잘못된 결과를 낼 수 있음에도 불구하고, 스펙트럴 상한의 기울기 계산은 백프로파게이션 중에 일관되고 정확한가?

주요 결과

• γ=0.03일 때, MNIST에서 91.25%의 인증된 강건성 정확도를 달성했으며, CIFAR-10에서는 29.26%를 기록하여 기준선(γ=0일 때 0%의 인증된 정확도)을 크게 뛰어넘었다.
• 네 상한의 최소값은 특히 큰 필터 크기에서 개별 상한보다 항상 더 날카운 스펙트럴 노름 추정치를 제공한다.
• CIFAR-10에서 ResNet-32의 경우, β를 0에서 0.0018으로 증가시켰을 때 16×3×3×3 필터의 스펙트럴 노름 상한이 37.96에서 5.57로 감소하여 효과적인 정규화가 이루어졌음을 보여주었다.
• γ=0.01일 때, CIFAR-10에서 17.39%의 인증된 강건성 정확도를 달성하여, 상한이 의미 있는 강건성 인증을 가능하게 했다.
• 기울기 계산은 일관되고 정확했으며, 이전 방법에서 관찰된 비현실적인 비영 기울기와 일관되지 않은 값들을 피했다.
• 스펙트럴 상한은 진짜 스펙트럴 노름과 추정치 사이의 격차를 줄였으며, β가 증가할수록 격차가 감소함으로써 날카운 정도 향상이 이루어짐을 나타냈다.