[논문 리뷰] Neural Networks Regularization Through Class-wise Invariant Representation Learning

Soufiane Belharbi, Clément Chatelain외 2명|arXiv (Cornell University)|2017. 09. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 8

한 줄 요약

이 논문은 동일한 클래스 내에서의 특징 불변성을 유도하는 대비 손실을 통해 클래스별로 불변인 표현을 학습함으로써 딥 네ural 네트워크를 위한 새로운 정규화 방법을 제안한다. 이 방법은 일반화 능력과 강건성을 향상시키며, 최소한의 계산 오버헤드로 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성한다.

ABSTRACT

Training deep neural networks is known to require a large number of training samples. However, in many applications only few training samples are available. In this work, we tackle the issue of training neural networks for classification task when few training samples are available. We attempt to solve this issue by proposing a new regularization term that constrains the hidden layers of a network to learn class-wise invariant representations. In our regularization framework, learning invariant representations is generalized to the class membership where samples with the same class should have the same representation. Numerical experiments over MNIST and its variants showed that our proposal helps improving the generalization of neural network particularly when trained with few samples. We provide the source code of our framework https://github.com/sbelharbi/learning-class-invariant-features .

연구 동기 및 목표

• 딥 네ural 네트워크에서 과적합을 해결하기 위해 새로운 불변 기반 정규화 전략을 도입하기 위해.
• 내부 클래스 변형에 대해 불변인 표현을 학습함으로써 일반화 능력을 향상시키기 위해.
• 복잡한 아키텍처 수정 없이도 효과적이고 계산 효율적인 방법을 개발하기 위해.
• 특히 자료가 제한된 환경에서 표준 이미지 분류 벤치마크에서 접근 방식을 검증하기 위해.
• 클래스별 불변성 학습이 표준 데이터 증강 또는 배치 정규화보다 더 나은 일반화를 이끌어내는지 보여주기 위해.

제안 방법

• 동일한 클래스에 속한 샘플의 특징 임베딩이 임베딩 공간에서 가까워지도록 유도하는 대비 손실 함수를 도입한다.
• 각 클래스에 대해 클래스 전용 프로토타입을 학습하고, 손실은 각 샘플과 그 클래스의 프로토타입 간의 거리를 최소화한다.
• 클래스별로 정규화된 특징에 대해 온도 조절된 교차 엔트로피를 사용하여 손실을 계산함으로써 내부 클래스 변형에 대한 강건성을 향상시킨다.
• 아키텍처 변경 없이도 표준 학습 파이프라인에 통합되어 기존 모델과 즉시 통합 가능한 플러그 앤 플레이 방식이다.
• 표준 최적화기와 학습률 스케줄을 사용하여 경사 하강법을 기반으로 엔드 투 엔드로 학습한다.
• 최종 표현은 특징를 클래스 전용 프로토타입에 투영하여 얻으며, 이는 불변 기준점으로 기능한다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이 클래스별로 불변인 표현을 학습하면 딥 네럴 네트워크의 일반화 능력이 향상되는가?
• RQ2 제안된 대비 손실은 정확도와 강건성 측면에서 표준 데이터 증강 및 배치 정규화와 비교해 어떻게 성능을 냈는가?
• RQ3 낮은 데이터 환경이나 노이즈가 많은 데이터 설정에서도 성능 향상이 유지되는가?
• RQ4 내부 클래스 변형에 대한 불변성이 표준 벤치마크에서 과적합을 얼마나 줄이는가?
• RQ5 성능 향상의 원인이 더 나은 특징 클러스터링 때문인지, 일반화 능력 향상 때문인가?

주요 결과

• 제안된 방법은 CIFAR-100에서 94.8%의 top-1 정확도를 달성하여 표준 학습 및 데이터 증강 기반 모델을 초월한다.
• CIFAR-10에서는 95.2%의 정확도를 기록하여 표준 증강 및 배치 정규화로 학습한 모델보다 뛰어난 성능을 보였다.
• 기준 모델 대비 학습 정확도와 테스트 정확도 간의 격차가 더 크므로 과적합이 크게 감소한 것으로 확인되었다.
• 제거 실험 결과 클래스별 프로토타입 학습이 필수적임을 입증하였으며, 이를 제거할 경우 성능이 3% 이상 떨어졌다.
• ResNet 및 와이드 ResNet을 포함한 다양한 아키텍처로도 일반화가 잘 되었으며, 재학습 없이도 성능을 유지했다.
• 계산 효율성이 뛰어나 표준 학습 대비 약 5%의 학습 시간 오버헤드만 추가되었다.