[논문 리뷰] Orthogonal Deep Neural Networks

Kui Jia, Shuai Li외 3명|arXiv (Cornell University)|2019. 05. 15.

Sparse and Compressive Sensing Techniques참고 문헌 59인용 수 9

한 줄 요약

이 논문은 일반화 및 강건성을 향상시키기 위해 가중치 행렬을 직교로 강제하는 이론적으로 탄탄한 접근법인 직교 딥 뉴럴 네트워크(OrthDNNs)를 제안한다. 실용적인 데이터 분포에서 딥 뉴럴 네트워크가 국소적으로 등장하는 것을 증명함으로써, 특이값 스펙트럼에 민감한 일반화 오차 경계를 유도하며, 이로 인해 가중치 행렬이 직교일 때 최적의 성능을 달성함을 보여준다. 또한 효율적이고 근사적인 학습을 위한 특이값 제한(SVB)과 제한된 배치 정규화(BBN)를 도입하여, 표준 및 손상된 테스트 조건 하에서 ImageNet에서 베이스라인 성능을 초월한다.

ABSTRACT

In this paper, we introduce the algorithms of Orthogonal Deep Neural Networks (OrthDNNs) to connect with recent interest of spectrally regularized deep learning methods. OrthDNNs are theoretically motivated by generalization analysis of modern DNNs, with the aim to find solution properties of network weights that guarantee better generalization. To this end, we first prove that DNNs are of local isometry on data distributions of practical interest; by using a new covering of the sample space and introducing the local isometry property of DNNs into generalization analysis, we establish a new generalization error bound that is both scale- and range-sensitive to singular value spectrum of each of networks' weight matrices. We prove that the optimal bound w.r.t. the degree of isometry is attained when each weight matrix has a spectrum of equal singular values, among which orthogonal weight matrix or a non-square one with orthonormal rows or columns is the most straightforward choice, suggesting the algorithms of OrthDNNs. We present both algorithms of strict and approximate OrthDNNs, and for the later ones we propose a simple yet effective algorithm called Singular Value Bounding (SVB), which performs as well as strict OrthDNNs, but at a much lower computational cost. We also propose Bounded Batch Normalization (BBN) to make compatible use of batch normalization with OrthDNNs. We conduct extensive comparative studies by using modern architectures on benchmark image classification. Experiments show the efficacy of OrthDNNs.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 가중치 행렬의 특이값 스펙트럼과 일반화 오차를 연결함으로써 스펙트럼 정규화의 이론적 근거를 제공한다.
• 각 레이어의 가중치 행렬 특이값 스펙트럼에 대해 척도 및 범위에 민감한 새로운 일반화 오차 경계를 수립한다.
• 국소 등장성 제약 조건 하에서 일반화 오차를 최소화하는 데 최적의 해로 직교 가중치 행렬을 식별한다.
• 기존 딥 러닝 관행과 호환되는 계산적으로 효율적인 알고리즘인 SVB와 BBN를 개발하여 근사적인 OrthDNN의 학습을 가능하게 한다.
• 다양한 데이터 크기와 손상된 입력에서 OrthDNN의 강건성과 일반화 성능을 경험적으로 검증한다.

제안 방법

• 네트워크에 의해 유도되는 선형 분할을 기반으로 한 새로운 입력 공간 커버리지 도입을 통해 실용적인 데이터 분포에서 딥 뉴럴 네트워크가 국소적으로 등장하는 것을 증명한다.
• 각 가중치 행렬의 스펙트럼 노름과 특이값 분포에 명시적으로 의존하는 PAC 기반 일반화 오차 경계를 수립한다.
• 모든 특이값이 동일할 때 일반화 오차 경계가 최적화됨을 보여주며, 이는 직교 또는 정규직교 행렬이 이상적인 해임을 의미한다.
• 특이값 제한(SVB)을 제안하며, 이는 SGD 학습 중 각 가중치 행렬의 모든 특이값을 1 주변의 좁은 밴드로 제약하여 효율적인 근사 직교성을 실현한다.
• 제한된 배치 정규화(BBN)를 도입하며, 이는 정규화 통계를 제한하여 SVB와의 호환성을 유지함으로써 스펙트럼 제약 조건을 유지한다.
• 표준 아키텍처(예: ResNeXt)를 사용하여 SVB와 BBN를 적용하고, 표준, 소규모 데이터, 손상된 테스트 설정 하에서 ImageNet에서 평가한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에 대해 특이값 스펙트럼에 명시적으로 의존하는 이론적으로 탄탄한 일반화 오차 경계를 도출할 수 있는가?
• RQ2 가중치 행렬의 특이값을 동일하게 강제하는(즉, 직교화하는) 것이 딥 러닝 모델의 일반화 성능 향상에 기여하는가?
• RQ3 정확한 스티펠 맨ifold 최적화의 계산 비용 없이 직교 딥 네트워크의 효율적이고 근사적인 학습이 가능할 수 있는가?
• RQ4 ImageNet-C와 같은 분포 이탈 또는 손상된 데이터에서 SVB와 BBN의 강건성은 어떻게 평가되는가?
• RQ5 특히 저데이터 환경에서, 제안된 방법이 다양한 학습 데이터 크기에서 성능 향상을 유지하는가?

주요 결과

• 논문에서 도출된 일반화 오차 경계는 각 가중치 행렬의 특이값 스펙트럼에 대해 척도 및 범위에 민감하며, 모든 특이값이 동일할 때 최적의 경계가 달성된다.
• 실험 결과, SVB와 BBN는 표준 평가 조건 하에서 기준 ResNeXt-101 모델 대비 ImageNet에서 최대 1.58%까지 상위-1 오차율을 감소시킨다.
• 손상 정도가 증가하는 ImageNet-C에서, 최고의 손상 수준에서 SVB+BBN 방법은 기준 모델 대비 상위-1 오차율을 최대 51.26% 향상시킨다.
• 제안된 방법은 모든 학습 데이터 제약 조건에서 일관되게 성능 향상을 보이며, 특히 저데이터 설정(예: 학습 데이터의 1/10)에서 가장 큰 상대적 이득을 기록한다.
• 제한된 배치 정규화는 SVB와 함께 안정적인 학습을 가능하게 하며, 일반화에 필수적인 스펙트럼 제약 조건을 유지하면서 성능 저하 없이 유지한다.
• 이론적 분석은 딥 뉴럴 네트워크가 실용적인 데이터 분포에서 국소적으로 등장함을 확인하며, 스펙트럼 정규화의 기하학적 기초를 제공한다.