[논문 리뷰] Regularizing CNNs with Locally Constrained Decorrelations

Pau Rodríguez, Jordi Gonzàlez외 3명|arXiv (Cornell University)|2016. 11. 07.

Advanced Neural Network Applications인용 수 50

한 줄 요약

이 논문은 컨volution 네트워크(CNNs)의 특징 검출기 간 국소적 직교성을 강제함으로써 상호상관이 양의인 필터들만 분리시키는 새로운 가중치 정규화 기법인 OrthoReg을 소개한다. 음의 상관관계를 가진 가중치의 간섭을 피하기 때문에, OrthoReg는 이전의 특징 분리 기법보다 더 높은 분리도를 달성하고 과적합을 더 효과적으로 줄이며, 배치 정규화와 드롭아웃과 함께 사용되더라도 CIFAR-10, CIFAR-100, SVHN에서 테스트 정확도를 향상시킨다.

ABSTRACT

Regularization is key for deep learning since it allows training more complex models while keeping lower levels of overfitting. However, the most prevalent regularizations do not leverage all the capacity of the models since they rely on reducing the effective number of parameters. Feature decorrelation is an alternative for using the full capacity of the models but the overfitting reduction margins are too narrow given the overhead it introduces. In this paper, we show that regularizing negatively correlated features is an obstacle for effective decorrelation and present OrthoReg, a novel regularization technique that locally enforces feature orthogonality. As a result, imposing locality constraints in feature decorrelation removes interferences between negatively correlated feature weights, allowing the regularizer to reach higher decorrelation bounds, and reducing the overfitting more effectively. In particular, we show that the models regularized with OrthoReg have higher accuracy bounds even when batch normalization and dropout are present. Moreover, since our regularization is directly performed on the weights, it is especially suitable for fully convolutional neural networks, where the weight space is constant compared to the feature map space. As a result, we are able to reduce the overfitting of state-of-the-art CNNs on CIFAR-10, CIFAR-100, and SVHN.

연구 동기 및 목표

• 음의 상관관계를 가진 특징 가중치가 기존의 특징 분리 정규화 기법의 효과를 저해하는 문제를 해결하기 위해.
• 모델 용량을 줄이지 않고 전체 가중치 공간을 활용하여 모델 일반화를 향상시키기 위해.
• 완전 컨volution 네트워크에 적합한 직접적인 네트워크 가중치에 적용 가능한 계산 효율적인 정규화 기법을 개발하기 위해.
• 특징 분리에서 국소적 제약 조건이 더 높은 분리도 한계를 달성하고 과적합을 더 효과적으로 줄일 수 있음을 입증하기 위해.
• 최소한의 계산 오버헤드로 표준 벤치마크(CIFAR-10, CIFAR-100, SVHN)에서 최고 성능을 달성하기 위해.

제안 방법

• 특징 검출기 가중치 벡터 간의 국소적 직교성을 강제하는 새로운 정규화 기법인 OrthoReg을 제안한다.
• 가중치 벡터 간 상관관계를 측정하기 위해 코사인 유사도를 사용하며, 크기 영향을 피하기 위해 벡터 간의 각도에 초점을 맞춘다.
• 정규화를 음의 상관관계를 가진 가중치 쌍에서 제외하고, 양의 상관관계가 있는 필터 쌍에만 적용한다.
• 로컬 이웃 내에서 비직교 가중치 벡터를 처벌하는 미분 가능한 손실 항으로 정규화 항을 수식화한다.
• 백프로파게이션 과정 동안 정규화 항을 직접 가중치 갱신 과정에 통합하여, 완전 컨volution 네트워크에서 효율적으로 작동하도록 한다.
• 딥 네트워크인 ResNets와 Wide ResNets의 모든 컨볼루션 레이어에 동일하게 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 특징 분리에서 국소적 제약 조건이 딥 CNN에서 정규화의 효과를 향상시킬 수 있는가?
• RQ2 음의 상관관계를 가진 특징 가중치를 분리에서 제외하면 더 높은 분리도 한계와 더 나은 일반화가 달성되는가?
• RQ3 OrthoReg처럼 가중치 공간에 적용되는 정규화 기법이 활성도 공간 정규화 기법보다 정확도와 계산 효율성 측면에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 배치 정규화와 드롭아웃과 같은 다른 정규화 기법과 함께 사용될 때 OrthoReg의 성능 향상이 이루어지는가?
• RQ5 OrthoReg는 CIFAR-10, CIFAR-100, SVHN과 같은 표준 비전 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 110층의 ResNet에서 데이터 증강 없이도 CIFAR-10의 테스트 오차를 6.55%에서 6.29%로 감소시켰다.
• Wide ResNet v2에서 CIFAR-10에서는 오차를 3.89%에서 3.69%로 5.1% 상대적 감소를 기록했고, CIFAR-100에서는 18.85%에서 18.56%로 1.5% 상대적 향상이 있었다.
• SVHN에서는 오차를 1.64%에서 1.54%로 감소시켜, 출판 당시 이 데이터셋에서 보고된 바 가장 낮은 오차율을 달성했다.
• 배치 정규화와 드롭아웃과 함께 사용되더라도 일관되게 정확도가 향상되어, 이미 존재하는 정규화 기법에 대해 뛰어난 내성적 특성을 보였다.
• 활성도 기반 분리 기법보다 가중치 기반 정규화가 훨씬 빠르며, OrthoReg는 활성도 기반 분리 기법보다 수개의 FLOPs가 적게 소모되었다.
• 성능 향상의 이유는 음의 상관관계를 가진 가중치의 간섭을 피함으로써 정규화 항이 더 높은 분리도 한계에 도달하고 과적합을 더 효과적으로 줄일 수 있었기 때문이다.