[논문 리뷰] Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification

Hongjun Choi, Anirudh Som외 1명|arXiv (Cornell University)|2020. 09. 22.

Advanced Neural Network Applications참고 문헌 24인용 수 5

한 줄 요약

이 논문은 물리학에 기반한 단순한 제약 조건을 통해 딥 네트워크 특징의 정규직교성을 강제하는 오р토곤럴 스퍼어(Orthogonal Sphere, OS) 정규화기를 제안한다. 이는 특징의 다양성 향상, 프루닝에 대한 강건성 향상, 모델 캘리브레이션 향상에 기여하며, 계산 오버헤드를 최소화하면서 CIFAR10, CIFAR100, SVHN, 그리고 타이니 ImageNet에서 의미적 국소화 및 강건성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Standard deep learning models that employ the categorical cross-entropy loss are known to perform well at image classification tasks. However, many standard models thus obtained often exhibit issues like feature redundancy, low interpretability, and poor calibration. A body of recent work has emerged that has tried addressing some of these challenges by proposing the use of new regularization functions in addition to the cross-entropy loss. In this paper, we present some surprising findings that emerge from exploring the role of simple orthogonality constraints as a means of imposing physics-motivated constraints common in imaging. We propose an Orthogonal Sphere (OS) regularizer that emerges from physics-based latent-representations under simplifying assumptions. Under further simplifying assumptions, the OS constraint can be written in closed-form as a simple orthonormality term and be used along with the cross-entropy loss function. The findings indicate that orthonormality loss function results in a) rich and diverse feature representations, b) robustness to feature sub-selection, c) better semantic localization in the class activation maps, and d) reduction in model calibration error. We demonstrate the effectiveness of the proposed OS regularization by providing quantitative and qualitative results on four benchmark datasets - CIFAR10, CIFAR100, SVHN and tiny ImageNet.

연구 동기 및 목표

• 표준 딥 네트워크에서 크로스 엔트로피 손실로 훈련할 때 발생하는 특징 중복, 낮은 해석 가능성, 모델의 캘리브레이션 오류 문제를 해결하기 위해.
• 이미지 형성 물리학에서 영감을 얻은 단순한 직교성 제약 조건이 복잡한 물리 모델링 없이도 딥 네트워크 성질을 향상시킬 수 있는지 탐색하기 위해.
• 특징 간 상관관계 감소와 모델 강건성 향상을 위한 경량이며 닫힌 형태의 정규화 기법을 개발하기 위해.
• OS 정규화기가 특징 표현 품질, 프루닝에 대한 내성, Grad-CAM의 해석 가능성에 미치는 영향을 평가하기 위해.
• 아키텍처 수정 없이도 다양한 이미지 분류 벤치마크에서 일반화 가능성을 입증하기 위해.

제안 방법

• 단순화된 가정 하에 물리 기반 잠재 표현에서 유도된 오르토곤럴 스퍼어(Orthogonal Sphere, OS) 정규화기를 제안하며, 이는 닫힌 형태의 정규직교성 제약 조건을 이끌어낸다.
• 최종 합성곱층의 특징맵에서 정규직교성에서의 이탈을 벌금으로 삼는 가분한 손실 항으로 OS 정규화기를 구현한다.
• 정확도와 특징 간 상관관계 감소를 동시에 최적화하기 위해, OS 정규화기를 표준 다중 분류 크로스 엔트로피 손실과 결합하여 훈련한다.
• 강도 기반 특징맵 프루닝을 사용하여 강건성을 평가하며, 9번째 레이어에서 가장 낮은 크기의 특징맵을 선택하고 제거한다.
• 정확도, 캘리브레이션 오차, 프루닝 강건성 지표를 사용하여 4개의 벤치마크 데이터셋에서 5개의 랜덤 시드로 성능을 평가한다.
• Grad-CAM 시각화를 활용해 주의 맵의 의미적 국소화 품질과 해석 가능성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 물리학에서 영감을 얻은 정규화기를 통해 딥 네트워크 특징의 정규직교성을 강제하면 특징의 다양성이 향상되고 중복이 감소하는가?
• RQ2 OS 정규화기는 특히 높은 희박성 비율에서도 특징 프루닝에 대한 모델 강건성을 향상시키는가?
• RQ3 OS 정규화기는 Grad-CAM 시각화에서 클래스 활성화 맵의 의미적 국소화 수준을 어느 정도 향상시키는가?
• RQ4 표준 크로스 엔트로피 훈련 대비 OS 정규화기가 모델 캘리브레이션 오차에 어떤 영향을 미치는가?
• RQ5 아키텍처 수정 없이도 다양한 이미지 분류 벤치마크에서 효과적으로 적용 가능한가?

주요 결과

• CIFAR10에서 기준 모델 대비 쌍별 유사도가 20% 감소하여, 더 깊은 레이어에서 특징 상관관계가 감소함을 입증하였다.
• 프루닝 비율 77%에서 OS 정규화된 모델은 91.00%의 정확도를 유지하며, 기준 모델(84.12%)과 AMC(15.92%)보다 뚜렷한 성능 우월성을 보였다.
• OS 정규화기는 Grad-CAM 국소화 성능을 향상시켜, 객체에 대한 집중도를 높이고 배경 노이즈를 감소시켰다. 특히 중간 프루닝 이후에도 효과를 보였다.
• 이 방법은 모델 캘리브레이션 오차를 감소시켜, 예측 정확도를 희생시키지 않은 채 더 나은 신뢰도 캘리브레이션을 달성하였다.
• CIFAR10에서 22% 프루닝 비율에서도 OS 정규화된 모델은 94.65%의 정확도를 기록하여, AMC(93.99%)와 SNTG(93.60%)를 모두 초월하였다.
• OS 정규화기는 CIFAR10, CIFAR100, SVHN, 타이니 ImageNet 등 테스트한 모든 데이터셋에서 우수한 성능을 유지하여 강력한 일반화 능력을 입증하였다.