[논문 리뷰] Maximum Class Separation as Inductive Bias in One Matrix

Tejaswi Kasarla, Gertjan J. Burghouts외 4명|UvA-DARE (University of Amsterdam)|2022. 06. 17.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 소프트맥스 이전에 단일이고 폐쇄형 행렬 곱셈을 통해 딥 네트워크에 최대 클래스 간 분리도를 고정된 인덕티브 바이어스로 통합하는 방법을 제안한다. 이 행렬은 등각적이고 평균이 0인 클래스 벡터를 확보하기 위해 재귀적으로 계산되며, 최소한의 계산 오버헤드와 추가 학습 최적화 없이도 분류, 장꼬리 분포 인식, 분포 외 탐지 등 다양한 과제에서 성능을 향상시킨다.

ABSTRACT

Maximizing the separation between classes constitutes a well-known inductive bias in machine learning and a pillar of many traditional algorithms. By default, deep networks are not equipped with this inductive bias and therefore many alternative solutions have been proposed through differential optimization. Current approaches tend to optimize classification and separation jointly: aligning inputs with class vectors and separating class vectors angularly. This paper proposes a simple alternative: encoding maximum separation as an inductive bias in the network by adding one fixed matrix multiplication before computing the softmax activations. The main observation behind our approach is that separation does not require optimization but can be solved in closed-form prior to training and plugged into a network. We outline a recursive approach to obtain the matrix consisting of maximally separable vectors for any number of classes, which can be added with negligible engineering effort and computational overhead. Despite its simple nature, this one matrix multiplication provides real impact. We show that our proposal directly boosts classification, long-tailed recognition, out-of-distribution detection, and open-set recognition, from CIFAR to ImageNet. We find empirically that maximum separation works best as a fixed bias; making the matrix learnable adds nothing to the performance. The closed-form implementation and code to reproduce the experiments are available on github.

연구 동기 및 목표

• 딥 러닝 모델에 최대 클래스 간 분리도를 고정된 인덕티브 바이어스로 통합하여 종단간 최적화가 필요 없도록 하는 것.
• 출력 공간에서 클래스를 최대한 분리할 수 있도록 등각적이고 평균이 0인 클래스 벡터를 위한 폐쇄형 해를 제공하는 것.
• 이 고정 행렬이 다양한 과제, 특히 장꼬리 분포 인식과 분포 외 탐지에서 성능 향상에 기여함을 보여주는 것.
• 학습 중에 가중치를 학습시키는 것보다 고정된 행렬이 더 효과적이며, 학습이 추가로 유의미한 성능 향상 없이도 최적의 분리도를 달성할 수 있음을 보여주는 것.
• 최소한의 설계 노력과 극히 미미한 계산 오버헤드로 널리 적용 가능하게 하는 것.

제안 방법

• 재귀 알고리즘이 $ (C+1) \times C $ 크기의 고정 행렬을 계산하여 $ C+1 $개의 클래스 벡터가 최대 각도 간격을 가지며 평균이 0이 되도록 보장한다.
• 이 행렬은 소프트맥스 이전에 네트워크의 로짓에 선형 변환으로 적용되어 분리도를 학습 최적화에서 분리한다.
• 이 방법은 모든 클래스 벡터가 등각적이고 초구면 위에 균일하게 분포되며 단순형 등각 타이트 프레임을 형성함을 보장한다.
• 표준 크로스 엔트로피 손실 및 어떤 네트워크 아키텍처와도 호환되며, 통합에 단 한 줄의 코드만 필요하다.
• 최적화 없이 기하학적 성질에 기반해 분석적으로 유도된 해이므로 최적화가 필요 없다.
• 모든 클래스 수에 일반화 가능하며, 기반 네트워크 아키텍처와는 독립적이다.

실험 결과

연구 질문

• RQ1 최대 클래스 간 분리도를 최적화 없이 폐쇄형 해로 해결할 수 있으며, 이를 어떻게 딥 네트워크에 인덕티브 바이어스로 통합할 수 있는가?
• RQ2 고정된 행렬이 등각적 클래스 벡터를 강제함으로써 표준 및 장꼬리 분포 분류에서 일반화 성능을 향상시키는가?
• RQ3 성능 및 효율성 측면에서 이 고정 행렬은 학습 가능한 또는 최적화된 분리 메커니즘과 비교해 어떻게 다를까?
• RQ4 이 인덕티브 바이어스는 표준 분류를 넘어서 분포 외 및 오픈 세트 인식 성능 향상에 기여하는가?
• RQ5 학습 중에 가중치를 학습시키는 것보다 고정된 행렬이 더 효과적인가?

주요 결과

• 제안된 고정 행렬은 표준 ImageNet 분류 정확도를 향상시키며, 장꼬리 분포 인식 벤치마크에서 성능을 크게 향상시킨다.
• 이미 존재하는 최고 성능 모델에 추가했을 때도 장꼬리 분포 인식 과제에서 최고 성능을 달성하여 광범위한 호환성을 입증한다.
• 출력 공간에서의 더 나은 기하학적 분리로 인해 분포 외 및 오픈 세트 인식 성능이 향상된다.
• 행렬을 학습 가능하게 할 경우 성능 향상이 없음을 확인하여, 최대 분리도는 학습 이전에 폐쇄형 해로 해결하는 것이 가장 바람직함을 입증한다.
• 실행 시간 오버헤드가 측정 가능한 정도로 없으며, 단 한 줄의 코드로 어떤 네트워크에도 쉽게 통합할 수 있다.
• 행렬의 재귀적 구성은 임의의 클래스 수에 대해 등각적이고 평균이 0인 클래스 벡터를 보장하며, 단순형 등각 타이트 프레임을 형성한다.