[논문 리뷰] Class Normalization for (Continual)? Generalized Zero-Shot Learning

Ivan Skorokhodov, Mohamed Elhoseiny|arXiv (Cornell University)|2020. 06. 19.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 제로샷 러닝(ZSL)에서의 분산 붕괴 문제를 해결함으로써 훈련을 안정화시키는 새로운 정규화 기법인 클래스 정규화(CN)를 소개한다. 클래스별 표준화와 이론적으로 타당한 초기화 방법을 결합함으로써, 단순한 MLP가 네 가지 표준 ZSL 벤치마크에서 최신 기술(SOTA)을 초월하는 성능을 내며, 훈련 속도는 50배 빠르게 구현한다. 또한 엄밀한 평가 지표를 갖춘 새로운 연속적 ZSL 설정을 가능하게 한다.

ABSTRACT

Normalization techniques have proved to be a crucial ingredient of successful training in a traditional supervised learning regime. However, in the zero-shot learning (ZSL) world, these ideas have received only marginal attention. This work studies normalization in ZSL scenario from both theoretical and practical perspectives. First, we give a theoretical explanation to two popular tricks used in zero-shot learning: normalize+scale and attributes normalization and show that they help training by preserving variance during a forward pass. Next, we demonstrate that they are insufficient to normalize a deep ZSL model and propose Class Normalization (CN): a normalization scheme, which alleviates this issue both provably and in practice. Third, we show that ZSL models typically have more irregular loss surface compared to traditional classifiers and that the proposed method partially remedies this problem. Then, we test our approach on 4 standard ZSL datasets and outperform sophisticated modern SotA with a simple MLP optimized without any bells and whistles and having ~50 times faster training speed. Finally, we generalize ZSL to a broader problem -- continual ZSL, and introduce some principled metrics and rigorous baselines for this new setup. The project page is located at https://universome.github.io/class-norm.

연구 동기 및 목표

• 정규화 기법인 normalize+scale와 속성 정규화가 ZSL 성능을 향상시키는 이유를 규명하고, 이 분야에 대한 이전 연구가 제한적인 점을 고려하여 이론적 배경을 탐구한다.
• 깊이 있는 ZSL 모델에서 표준 정규화 방법이 계층 간 분산 붕괴로 인해 실패하는 이유를 규명한다.
• 클래스별 표준화와 이론적으로 타당한 초기화를 통해 훈련을 안정화시키는 새로운 정규화 기법인 클래스 정규화(CN)를 제안한다.
• ZSL 모델이 표준 분류기보다 더 불규칙한 손실 표면을 보이며, CN이 이 문제를 완화함을 보여준다.
• ZSL를 연속적 학습 설정으로 확장하고, 연속적 제로샷 러닝(CZSL)을 위한 체계적인 평가 지표와 기준 모델을 수립한다.

제안 방법

• 클래스 정규화(CN)는 순전파 과정에서 클래스 프로토타입의 평균과 표준편차를 사용해 계층별로 클래스 단위로 표준화를 적용한다.
• 신호 분산을 네트워크 전반에 걸쳐 유지하기 위해 $1/d_z \cdot 1/d_a$ 비율으로 조정된 수정된 He-style 초기화를 사용한다.
• 구조적 수정 없이도 표준 MLP 기반 모델과 통합 가능하며, 복잡한 최적화 기법이 필요로 하지 않는다.
• 이론적 분석을 통해 CN은 normalize+scale나 속성 정규화만을 사용할 경우와 달리 계층 간 분산 안정성을 유지함을 확인한다.
• 네 가지 표준 ZSL 데이터셋(SUN, CUB, AwA1, AwA2)에서 경험적으로 검증한다.
• 연속적 ZSL를 위해 새로운 평가 프로토콜과 지표를 도입하여 의미적 속성을 활용한 점진적 학습을 평가한다.

실험 결과

연구 질문

• RQ1 왜 normalize+scale와 속성 정규화가 ZSL 성능을 향상시키며, 그 이론적 근거는 무엇인가?
• RQ2 왜 표준 정규화 기법이 깊이 있는 ZSL 모델에서 실패하며, 이러한 아키텍처에서 분산 붕괴가 발생하는 원인은 무엇인가?
• RQ3 정규화 기법이 단순한 클래스 정규화(CN)로도 복잡한 SOTA ZSL 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 ZSL 모델의 손실 표면은 표준 지도 학습 분류기와 비교해 어떻게 다른가? 그리고 정규화가 이 표면의 규칙성을 향상시킬 수 있는가?
• RQ5 연속적 제로샷 러닝을 위한 적절한 평가 지표와 기준 모델은 무엇이며, 어떻게 체계적으로 정의할 수 있는가?

주요 결과

• 클래스 정규화를 통해 단순한 백본 MLP가 네 가지 표준 ZSL 벤치마크에서 복잡한 SOTA 방법들인 DCN, SGAL, LsrGAN을 초월하는 최신 기술 성능을 달성한다.
• CN을 적용한 모델은 AwA2에서 평균 정확도 67.6%를 기록하여 이전 SOTA인 65.6% (SGAL)와 63.0% (LsrGAN)를 모두 상회한다.
• 훈련 시간은 약 30초로, SOTA 방법이 50분에서 1시간이 소요되는 것과 비교해 50~100배 빠른 속도를 기록한다.
• 이론적 분석을 통해 CN이 초기화 단계에서 $1/d_a$ 요소를 보정함으로써 계층 간 신호 분산을 유지함을 확인했으며, 이는 성능 향상에 핵심적인 역할을 한다.
• 경험적 결과로 ZSL 모델이 표준 분류기보다 더 불규칙한 손실 표면을 보이며, CN이 이 표면의 규칙성을 크게 향상시킴을 입증했다.
• 제안된 연속적 ZSL 설정은 새로운 평가 프로토콜과 기준 모델을 도입하여 종신적 제로샷 러닝의 체계적 벤치마킹을 가능하게 한다.