[논문 리뷰] Preventing Gradient Attenuation in Lipschitz Constrained Convolutional Networks

Qiyang Li, Saminul Haque외 4명|arXiv (Cornell University)|2019. 11. 03.

Adversarial Robustness in Machine Learning인용 수 33

한 줄 요약

본 논문은 BCOP(블록 컨볼루션 직교 파라미터화)를 제시하여, 기울기 노름 보존을 통해 확장 가능한 Lipschitz-제한 컨볼루션 네트워크를 학습하고, 증명 가능한 강건성 및 더 촘촘한 Wasserstein 추정치를 가능하게 한다.

ABSTRACT

Lipschitz constraints under L2 norm on deep neural networks are useful for provable adversarial robustness bounds, stable training, and Wasserstein distance estimation. While heuristic approaches such as the gradient penalty have seen much practical success, it is challenging to achieve similar practical performance while provably enforcing a Lipschitz constraint. In principle, one can design Lipschitz constrained architectures using the composition property of Lipschitz functions, but Anil et al. recently identified a key obstacle to this approach: gradient norm attenuation. They showed how to circumvent this problem in the case of fully connected networks by designing each layer to be gradient norm preserving. We extend their approach to train scalable, expressive, provably Lipschitz convolutional networks. In particular, we present the Block Convolution Orthogonal Parameterization (BCOP), an expressive parameterization of orthogonal convolution operations. We show that even though the space of orthogonal convolutions is disconnected, the largest connected component of BCOP with 2n channels can represent arbitrary BCOP convolutions over n channels. Our BCOP parameterization allows us to train large convolutional networks with provable Lipschitz bounds. Empirically, we find that it is competitive with existing approaches to provable adversarial robustness and Wasserstein distance estimation.

연구 동기 및 목표

• Lipschitz 제약을 강제할 때 컨볼루션 신경망에서 기울기 노름 약화가 발생하는 동기를 제시하고 해결한다.
• 기울기 노름을 보존하는 확장 가능한 표현력 있는 직교 합성(BCOP) 파라미터화를 제안한다.
• 직교 컨볼루션의 위상을 이론적으로 분석하고 BCOP가 비연결성을 극복하는 방법을 보여준다.
• L2 하에서의 결정론적 입증 가능한 적대적 강건성과 Wasserstein 거리 추정치를 개선함을 입증한다.
• 안정성 및 Wasserstein 작업에서 Lipschitz 제약 메서드와 BCOP를 비교한다.

제안 방법

• 신경망에서 Lipschitz 한계 및 기울기 노름 보존의 필요성을 검토한다.
• BCOP를 도입한다: 직교성을 보장하기 위해 블록 컨볼루션과 대칭 투사자를 사용하는 구성적 파라미터화.
• 직교 컨볼루션 공간이 비연결적임을 증명하고, BCOP가 2n 채널 연결 구성요소 내의 모든 n-채널 컨볼루션을 표현할 수 있음을 보인다.
• 연결되고 표현력이 있는 파라미터화를 보장하기 위해 보조 차원을 갖는 BCOP를 구축하는 알고리즘(Algorithm 1)을 제공한다.
• BCOP를 이용해 노름-제한 입증 가능한 적대적 강건성과 Wasserstein 거리 추정치를 OSSN, RKO, SVCM과 비교하여 적용한다.

실험 결과

연구 질문

• RQ1 Lipschitz 제약이 있는 합성 컨볼루션 네트워크에서 표현력을 유지하면서 기울기 노름 약화를 제거할 수 있는가?
• RQ2 :
• RQ3 연결되고 표현력이 있는 직교 컨볼루션 파라미터화가 확장 가능하고 증명 가능한 Lipschitz 네트워크를 강건성 및 Wasserstein 추정에 대해 가능하게 하는가?
• RQ4 BCOP가 기존 Lipschitz-제한 방법과 비교해 강건성 보장 및 Wasserstein 하한에 대해 어떤 차이가 있는가?
• RQ5 직교 컨볼루션 공간의 위상 등 이론적 특성이 최적화에 어떤 영향을 주며 이를 어떻게 완화할 수 있는가?
• RQ6 MNIST/CIFAR-10 강건성 및 STL-10 Wasserstein 추정 작업에서 BCOP가 경쟁력 있거나 우수한 성능을 달성할 수 있는가?

주요 결과

• BCOP는 학습 중에도 특이값 분포를 보존하는 1-Lipschitz 컨볼루션 레이어의 기울기 노름 보존 특성을 제공한다.
• BCOP는 L2 노이즈에 대한 MNIST 및 CIFAR-10에 대해 OSSN, RKO, SVCM보다 결정적 입증 가능한 적대적 강건성 벤치마크에서 우수하다.
• 이 방법은 GAN 설정에서 분포 간 Wasserstein 거리 추정치를 더 촘촘하게 제공하며, 기존 Lipschitz 컨볼루션 접근법보다 우수하다.
• 직교 컨볼루션 공간이 크게 불연속적임을 이론적으로 분석하고, 보조 차원 구성으로 유효 공간을 단일 연결 구성요소로 통합한다.
• BCOP는 잔차 연결이나 배치 정규화에 의존하지 않고 GNP 및 동적 등가성을 유지하도록 설계된 아키텍처에서 최첨단 강건성과 경쟁력을 달성한다.
• 경사 노름 보존을 강제하는 것이 Lipschitz 제약 컨볼루션의 표현력을 최대한 활용하는 데 도움이 되어 더 나은 마진과 강건성을 가져온다는 것을 실증적으로 시사한다.