[논문 리뷰] Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?

Nitin Bansal, Xiaohan Chen외 1명|arXiv (Cornell University)|2018. 10. 22.

Advanced Neural Network Applications참고 문헌 29인용 수 157

한 줄 요약

본 논문은 CNN용 플러그-앤-플레이 직교성 정규화(SO, DSO, MC, SRIP)를 도입하고 SRIP이 CIFAR, ImageNet, SVHN에서 ResNet, WideResNet, ResNeXt에 걸쳐 정확도와 수렴을 일관되게 개선한다는 것을 보여준다.

ABSTRACT

This paper seeks to answer the question: as the (near-) orthogonality of weights is found to be a favorable property for training deep convolutional neural networks, how can we enforce it in more effective and easy-to-use ways? We develop novel orthogonality regularizations on training deep CNNs, utilizing various advanced analytical tools such as mutual coherence and restricted isometry property. These plug-and-play regularizations can be conveniently incorporated into training almost any CNN without extra hassle. We then benchmark their effects on state-of-the-art models: ResNet, WideResNet, and ResNeXt, on several most popular computer vision datasets: CIFAR-10, CIFAR-100, SVHN and ImageNet. We observe consistent performance gains after applying those proposed regularizations, in terms of both the final accuracies achieved, and faster and more stable convergences. We have made our codes and pre-trained models publicly available: https://github.com/nbansal90/Can-we-Gain-More-from-Orthogonality.

연구 동기 및 목표

• 가중치 행렬에서 근사 직교성(near-orthogonality)을 강제하는 것이 학습을 안정시키고 심층 CNN의 성능을 향상시키는지에 대해 동기를 부여하고 연구한다.
• 다양한 형식을 통해 정방형 및 직사각형 가중치 행렬 모두에 직교성을 강제하는 여러 정규화 기법을 제안한다.
• 표준 비전 데이터셋에서 최첨단 CNN 아키텍처에 대한 이들 정규화 기법의 효과를 평가한다.
• 네트워크 아키텍처를 바꾸지 않고도 이러한 플러그-앤-플레이 정규화 기법을 통합하는 실용적인 지침을 제공한다.

제안 방법

• Soft Orthogonality (SO), Double Soft Orthogonality (DSO), Mutual Coherence (MC), and Spectral RIP (SRIP)라는 네 가지 정규화 기법을 도출한다.
• SO는 ||W^T W - I||_F^2를 최소화하고; DSO는 ||W^T W - I||_F^2 + ||W W^T - I||_F^2를 최소화한다.
• MC는 ||W^T W - I||_∞를 최소화하여 열 간의 응집(coherence)을 억제한다.
• SRIP는 (W^T W - I)의 스펙트럴 노름을 최소화하여 특이값을 1에 맞추고, 효율성을 위해 파워 이터레이션 기반 근사치를 사용한다.
• 훈련 과정에서 규제 강도를 학습 중에 줄여 초기 안정화와 후반의 유연성을 균형 있게 조정하는 스킴 체인지를 채택한다.
• ResNet, WideResNet, ResNeXt를 CIFAR-10/100, ImageNet, SVHN과 함께 평가하고; SRIP를 SR, OMDSM, 그리고 Jacobian-based regularization과 비교한다.

실험 결과

연구 질문

• RQ1 직교성 정규화가 심층 CNN의 학습 안정성과 최종 정확도를 향상시킬 수 있는가?
• RQ2 어떤 정규화 형식(SO, DSO, MC, SRIP)이 성능과 계산 비용 사이의 최적의 균형을 제공하는가?
• RQ3 SRIP가 ImageNet과 같은 대규모 데이터셋에서 기존의 스펙트럴 또는 하드 제약 직교성 방법보다 우수한가?
• RQ4 스킴 체인징(동적 정규화 강도)가 직교성 정규화로 학습할 때 유익한가?

주요 결과

모델	정규화기	CIFAR-10	CIFAR-100
ResNet-110	None	7.04*	25.42*
ResNet-110	SO	6.78	25.01
ResNet-110	DSO	7.04	25.83
ResNet-110	MC	6.97	25.43
ResNet-110	SRIP	6.55	25.14
Wide ResNet 28-10	None	4.16*	20.50*
Wide ResNet 28-10	SO	3.76	18.56
Wide ResNet 28-10	DSO	3.86	18.21
Wide ResNet 28-10	MC	3.68	18.90
Wide ResNet 28-10	SRIP	3.60	18.19
ResNext 29-8-64	None	3.70*	18.53*
ResNext 29-8-64	SO	3.58	17.59
ResNext 29-8-64	DSO	3.85	19.78
ResNext 29-8-64	MC	3.65	17.62
ResNext 29-8-64	SRIP	3.48	16.99

• SRIP은 제안된 정규화 기법들 중 CIFAR-10/100, ImageNet, SVHN 전반에서 일관되게 최고 성능을 달성한다.
• CIFAR-10/100에서 SRIP은 Wide ResNet-28-10에 대해 최대 2.31%의 top-1 정확도 개선을 달성하고, 데이터셋에 따라 다른 모델에서 0.22–0.56%를 달성한다.
• SRIP은 보고된 비교에서 스펙트럴 정규화, 하드 직교성 방법, Jacobi-노름(Jacobian-norm) 접근법을 능가한다.
• SO는 의외로 강건한 베이스라인이며, DSO는 종종 성능이 저하된다.
• 정규화 기법은 초기 학습을 가속화하고 아키텍처 변경 없이도 수렴을 매끄럽게 하며; 스킴-체인지(시간에 따라 규제 감소)는 최종 정확도를 높인다.