[논문 리뷰] On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory

Alexandre Araujo, Benjamin Négrevergne외 2명|arXiv (Cornell University)|2020. 06. 15.

Face and Expression Recognition참고 문헌 32인용 수 18

한 줄 요약

이 논문은 토플리츠 행렬 이론과 푸리에 분석을 활용하여 컨볼루션 레이어의 리프시츠 상수에 대한 새로운 효율적인 상계를 제안한다. 이는 빠르고 날카운 스펙트럴 노름 추정을 가능하게 하며, 반복적 파wer 메서드보다 속도와 정확도에서 뛰어나게 성능을 발휘한다. 이는 와이드 리스넷과 같은 딥 네트워크에서 적절한 리프시츠 정규화를 가능하게 하여 적대적 공격에 대한 강건성을 향상시킨다.

ABSTRACT

This paper tackles the problem of Lipschitz regularization of Convolutional Neural Networks. Lipschitz regularity is now established as a key property of modern deep learning with implications in training stability, generalization, robustness against adversarial examples, etc. However, computing the exact value of the Lipschitz constant of a neural network is known to be NP-hard. Recent attempts from the literature introduce upper bounds to approximate this constant that are either efficient but loose or accurate but computationally expensive. In this work, by leveraging the theory of Toeplitz matrices, we introduce a new upper bound for convolutional layers that is both tight and easy to compute. Based on this result we devise an algorithm to train Lipschitz regularized Convolutional Neural Networks.

연구 동기 및 목표

• 딥 네트워크에서 정확한 리프시츠 상수 계산의 계산 비용이 과도한 문제를 해결하기 위해.
• 기존 반복적 방법보다 더 날카우면서도 더 효율적인 컨볼루션 레이어의 스펙트럴 노름 상계를 개발하기 위해.
• 딥 러닝에서 일반화 및 적대적 강건성을 향상시키기 위해 실용적인 리프시츠 정규화를 가능하게 하기 위해.
• 토플리츠 및 더블 블록 토플리츠 행렬 이론을 활용하여 푸리에 분석을 통해 닫힌 형태의 스펙트럴 노름 상계를 유도하기 위해.

제안 방법

• 이 방법은 컨볼루션 레이어를 겹쳐진 더블 블록 토플리츠 행렬로 모델링하여, 그 구조를 활용해 스펙트럴 분석을 수행한다.
• 이 행렬 이론의 결과를 적용하여 생성 함수의 역 푸리에 변환을 이용해 최대 특이값을 상한선으로 제시한다.
• 이 방법은 필터 커널의 2차원 푸리에 변환의 크기의 상한값을 바탕으로 닫힌 형태의 스펙트럴 노름 상한선을 유도한다.
• 이 상한선은 반복적 파워 메서드 계산을 피하기 위해 FFT를 통해 효율적으로 계산된다.
• 이 방법은 경사 기반 최적화를 통해 학습 과정에 통합되어 전체 네트워크의 리프시츠 상수를 정규화한다.

실험 결과

연구 질문

• RQ1 토플리츠 행렬 이론이 반복적 파워 메서드보다 더 날카우면서도 더 빠른 컨볼루션 레이어의 스펙트럴 노름 추정을 가능하게 할 수 있는가?
• RQ2 기존 방법들인 파워 메서드나 순환 행렬 근사와 비교해 본 방법의 정확도와 효율성은 어떠한가?
• RQ3 이 상한선을 활용한 리프시츠 정규화가 딥 네트워크에서 적대적 강건성을 얼마나 향상시키는가?
• RQ4 와이드 리스넷과 같은 대규모 아키텍처에 대해 이 방법은 과도한 계산 비용 없이 효율적으로 확장될 수 있는가?

주요 결과

• 제안된 방법인 LipBound는 SqueezeNet과 DenseNet과 같은 대규모 네트워크에서 파워 메서드(10회 반복) 대비 최대 12배의 속도 향상을 달성한다.
• 와이드 리스넷 50-2에서 LipBound는 파워 메서드보다 4.13배 빠르며, 평균 추론 시간은 113.28ms 대비 468.74ms이다.
• 기존의 순환 행렬 기반 방법보다 스펙트럴 노름에 대해 더 날카운 상한선을 제공한다.
• LipBound를 활용한 리프시츠 정규화는 표준 적대적 훈련만으로는 달성하기 어려운 수준의 적대적 강건성을 크게 향상시킨다.
• 이론적 상한선은 필터의 생성 함수의 2차원 푸리에 변환에서 유도되며, 닫힌 형태의 계산이 가능하다.