[논문 리뷰] Fix Your Features: Stationary and Maximally Discriminative Embeddings using Regular Polytope (Fixed Classifier) Networks

Federico Pernici, Matteo Bruni외 2명|arXiv (Cornell University)|2019. 02. 27.

Handwritten Text Recognition Techniques참고 문헌 28인용 수 8

한 줄 요약

이 논문은 정규 다면체 네트워크(RePoNet)를 제안하며, 임bedding 공간 내에서 정규 다면체(d-단체, d-정육면체, d-양측체)의 꼭짓점을 고정된 분류기 가중치로 사용하여 정적이고 최대한의 분류 가능성을 갖는 특징을 강제하는 방법이다. 높은 대칭성을 활용함으로써 학습 중 특징이 고정된 가중치 방향과 각도적으로 일치하게 하여, 학습 가능한 분류기와 비교해도 유사하거나 더 높은 정확도를 달성하면서 예측 가능하고 안정적인 특징 학습을 가능하게 한다.

ABSTRACT

Neural networks are widely used as a model for classification in a large variety of tasks. Typically, a learnable transformation (i.e. the classifier) is placed at the end of such models returning a value for each class used for classification. This transformation plays an important role in determining how the generated features change during the learning process. In this work we argue that this transformation not only can be fixed (i.e. set as non trainable) with no loss of accuracy, but it can also be used to learn stationary and maximally discriminative embeddings. We show that the stationarity of the embedding and its maximal discriminative representation can be theoretically justified by setting the weights of the fixed classifier to values taken from the coordinate vertices of three regular polytopes available in $\mathbb{R}^d$, namely: the $d$-Simplex, the $d$-Cube and the $d$-Orthoplex. These regular polytopes have the maximal amount of symmetry that can be exploited to generate stationary features angularly centered around their corresponding fixed weights. Our approach improves and broadens the concept of a fixed classifier, recently proposed in \cite{hoffer2018fix}, to a larger class of fixed classifier models. Experimental results confirm both the theoretical analysis and the generalization capability of the proposed method.

연구 동기 및 목표

• 딥 네트워크 학습 중에 학습된 특징의 불안정성과 비정적 성향을 해결하기 위해 분류기 가중치를 고정하는 것.
• 대칭적인 다면체 구성을 기반으로 한 고정된 분류기가 최적의 특징 분류 가능성과 정적 성질을 달성할 수 있음을 보여주는 것.
• 헤르무이트 기반 방법을 초월하여 더 넓은 범위의 대칭적이며 이론적으로 탄탄한 구성으로 고정된 분류기 개념을 일반화하는 것.
• 다양한 아키텍처와 데이터셋에서 고정된 다면체 기반 분류기가 조밀한 특징 차원 조차 유지하면서 높은 정확도를 유지할 수 있음을 보여주는 것.
• 대칭적인 기하학적 구조를 이용해 사전에 분류기 가중치를 정의함으로써 예측 가능한 특징 공간 정렬을 가능하게 하는 것.

제안 방법

• 분류기 가중치는 ℝ^d 내 정규 다면체의 좌표 꼭짓점(d-단체, d-정육면체, d-양측체)으로 초기화된다.
• 최종 레이어는 고정된, 학습 불가능한 선형 분류기를 사용하며, 점수는 z_i = w_i^T · f로 계산되며, 여기서 w_i는 다면체 꼭짓점에 고정된다.
• 특징 벡터 f는 경사하강법(SGD)을 통해 분류 손실을 최소화하도록 최적화되며, 이로써 특징이 고정된 가중치 방향과 각도적으로 일치하게 된다.
• 다면체 꼭짓점의 대칭성 덕분에 특징의 평균값이 일정하게 유지되며(정적), 각도적으로 각 클래스 가중치 중심에 정렬된다.
• 동일한 학습 설정을 유지하면서 여러 아키텍처(LeNet++, VGG, DenseNet)와 데이터셋(MNIST, CIFAR-10/100)에 걸쳐 구현되었다.
• 이론적 근거는 대칭적인 다면체 구성이 특징 방향의 각도 분리도를 최대화하고 분산을 최소화한다는 사실에 기반한다.

실험 결과

연구 질문

• RQ1 정규 다면체에서 유도된 고정된 분류기 가중치가 정적이고 최대한의 분류 가능성을 갖는 특징 표현을 강제할 수 있는가?
• RQ2 다면체 기반 분류기의 대칭성이 특징 정렬과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 대칭적인 고정된 분류기를 사용할 경우, 다양한 아키텍처와 데이터셋에서 학습 가능한 분류기와 비교해도 동일하거나 향상된 정확도를 달성할 수 있는가?
• RQ4 특징 공간 차원 d가 클래스 수 K보다 작을 경우, 다면체 기반 고정 분류기의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 표준 고정 분류기 기반 모델보다 더 빠른 학습 수렴 속도를 달성할 수 있는가?

주요 결과

• RePoNet는 학습 가능한 분류기와 유사하거나 뛰어난 정확도를 달성한다. 예를 들어, d=50일 때 d-양측체를 사용해 CIFAR-100에서 74.32%의 정확도를 기록했으며, 이는 d=512일 때 기준선 모델과 동일한 성능이다.
• VGG19에서 d-정육면체 분류기를 사용했을 때 d=7에서 64.02%의 정확도를 기록했으며, 이는 훨씬 더 큰 차원 d=512에서 학습 가능한 분류기(68.69%)를 능가하는 성능이다.
• d=50일 때 RePoNet의 d-양측체는 CIFAR-100에서 69.07%의 정확도를 기록했으며, 이는 d=7에서 학습 가능한 분류기(66.32%)를 초월한다.
• 학습 속도가 빠르며, 학습 곡선을 통해 CIFAR-100에서 학습 가능한 기준선 모델과 동일한 수렴 속도를 확보했다.
• DenseNet-169를 포함한 다양한 아키텍처에서도 성능이 안정적으로 유지되며 일반화 능력이 뛰어나 아키텍처 무관 적용 가능성을 확인했다.
• d < K 조건에서 허르무이트 기반 고정 분류기는 실패하지만, RePoNet는 성능을 유지하여 클래스 수 대비 차원 수의 불균형에 대해 강건함을 입증했다.