[논문 리뷰] MMA Regularization: Decorrelating Weights of Neural Networks by Maximizing the Minimal Angles

Zhennan Wang, Canqun Xiang외 2명|arXiv (Cornell University)|2020. 06. 06.

Face recognition and analysis참고 문헌 9인용 수 7

한 줄 요약

이 논문은 Tammes 문제에 영감을 받아 각 층의 정규화된 가중치 벡터 간의 최소 쌍별 각도를 최대화함으로써 신경망 일반화 성능을 향상시키는 새로운 방법인 MMA 정규화를 제안한다. 안정적이고 미분 가능한 정규화 항을 통해 계산 비용이 거의 들지 않는 각도 다양성 증진을 통해, CIFAR100과 TinyImageNet에서 최신 기준 성능을 달성하고, 얼굴 인식 작업에서 특징 학습을 향상시킨다.

ABSTRACT

The strong correlation between neurons or filters can significantly weaken the generalization ability of neural networks. Inspired by the well-known Tammes problem, we propose a novel diversity regularization method to address this issue, which makes the normalized weight vectors of neurons or filters distributed on a hypersphere as uniformly as possible, through maximizing the minimal pairwise angles (MMA). This method can easily exert its effect by plugging the MMA regularization term into the loss function with negligible computational overhead. The MMA regularization is simple, efficient, and effective. Therefore, it can be used as a basic regularization method in neural network training. Extensive experiments demonstrate that MMA regularization is able to enhance the generalization ability of various modern models and achieves considerable performance improvements on CIFAR100 and TinyImageNet datasets. In addition, experiments on face verification show that MMA regularization is also effective for feature learning. Code is available at: https://github.com/wznpub/MMA_Regularization.

연구 동기 및 목표

• 과다 매개변수화된 신경망에서의 가중치 상관관계 문제를 해결하여 일반화 성능 저하를 방지하기 위해.
• 가중치 벡터 간 각도 다양성을 촉진하는 단순하고 효율적이며 효과적인 정규화 방법을 개발하기 위해.
• 기존 방법의 한계를 극복하기 위해, 예를 들어 정규직교 정규화(클러스터링을 유도함)와 MHE(높은 계산 비용)의 문제점을 해결하기 위해.
• 임의의 네트워크 아키텍처와 레이어 차원에 대해 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• Tammes 문제에 영감을 받아, 정규화된 가중치 벡터 간의 최소 쌍별 각도를 최대화하는 문제로 공식화하기 위해.
• 가중치 벡터가 초구면 위에 균일하게 분포하도록 유도하는, 미분 가능한 정규화 항을 설계하기 위해.
• 임의의 뉴런 수와 차원에 대해 Tammes 문제의 해를 수치 최적화를 통해 근사하기 위해.
• 최소한의 계산 오버헤드로 손실 함수에 MMA 정규화 항을 통합하기 위해.
• 모든 레이어에서 안정적이고 일관된 기울기 계산을 보장하여 신뢰할 수 있는 최적화를 확보하기 위해.
• 필터 간 상관관계를 줄이고 클래스 간 분리도를 향상시키기 위해, 히든 레이어와 출력 레이어 모두에 적용하기 위해.

실험 결과

연구 질문

• RQ1 가중치 벡터 간 최소 쌍별 각도를 최대화하는 것이 딥 신경망의 일반화 성능 향상에 기여하는가?
• RQ2 성능 및 효율성 측면에서 MMA 정규화는 정규직교 정규화와 MHE 정규화와 비교해 어떻게 다를까?
• RQ3 MMA 정규화는 합성곱 및 완전연결 레이어 모두에서 필터 상관관계를 효과적으로 줄이고 특징 다양성을 향상시키는가?
• RQ4 MMA는 이미지 분류와 얼굴 인식 작업 양쪽 모두에 효과적으로 적용될 수 있는가?
• RQ5 다양한 네트워크 아키텍처에서 MMA 정규화의 계산 비용과 확장성은 어떠한가?

주요 결과

• VGG19-BN을 CIFAR100에서 훈련시킬 때, MMA 정규화는 0.2 이상의 필터 코사인 유사도가 0개를 달성하여, 베이스라인(495), 정규직교(120), MHE(51)를 크게 앞서는 성능을 보였다.
• 모든 레이어에서 MMA를 사용할 경우 최소 쌍별 각도가 일관되게 가장 크게 유지되어, 뛰어난 각도 다양성을 나타낸다.
• CIFAR100에서 MMA 정규화는 베이스라인 대비 최대 1.8%의 상위-1 정확도 향상을 기록했으며, 다양한 모델에서 일관된 성능 향상을 보였다.
• TinyImageNet에서 MMA는 베이스라인 대비 1.5%의 정확도 향상을 달성하여, 더 큰 규모의 데이터셋에서도 효과적임을 입증했다.
• 얼굴 인식 작업에서, MMA는 LFW, CFP-FP, AgeDB-30에서 성능 향상을 보였으며, 깊은 특징 학습에 효과적임을 확인했다.
• 이 방법은 계산 오버헤드가 거의 없고, 쉽게 통합할 수 있어 표준 정규화 기법으로 활용하기에 적합하다.