[논문 리뷰] Hyperspherical Prototype Networks

Pascal Mettes, Elise van der Pol외 1명|arXiv (Cornell University)|2019. 01. 29.

Modular Robots and Swarm Intelligence참고 문헌 46인용 수 50

한 줄 요약

본 논문은 고정된 Hyperspherical class prototypes를 정의하고 입력을 분류 및 회귀를 위한 매핑에 cosine similarity를 사용하여, 프로토타입을 업데이트하지 않으면서도 확장 가능한 출력 공간에서 다중-task 학습을 가능하게 한다.

ABSTRACT

This paper introduces hyperspherical prototype networks, which unify classification and regression with prototypes on hyperspherical output spaces. For classification, a common approach is to define prototypes as the mean output vector over training examples per class. Here, we propose to use hyperspheres as output spaces, with class prototypes defined a priori with large margin separation. We position prototypes through data-independent optimization, with an extension to incorporate priors from class semantics. By doing so, we do not require any prototype updating, we can handle any training size, and the output dimensionality is no longer constrained to the number of classes. Furthermore, we generalize to regression, by optimizing outputs as an interpolation between two prototypes on the hypersphere. Since both tasks are now defined by the same loss function, they can be jointly trained for multi-task problems. Experimentally, we show the benefit of hyperspherical prototype networks for classification, regression, and their combination over other prototype methods, softmax cross-entropy, and mean squared error approaches.

연구 동기 및 목표

• 하이퍼스피어 출력 공간과 고정된 프로토타입을 갖는 네트워크 계열을 도입한다.
• 프로토타입 배치에서 대형 마진 분리를 가능하게 하는 의미론적 priors를 도입한다.
• 공통 코사인 유사도 손실로 분류와 회귀를 통합한다.
• 클래스 수를 초과하는 유연한 출력 차원을 허용한다.
• 분류, 회귀 및 다중-task 설정에 대한 이점을 입증한다.

제안 방법

• 학습 전에 D차(unit) 하이퍼스피어에 K개의 클래스 프로토타입을 배치하여 대형 마진 분리를 강제한다.
• 네트워크 f_phi(x)를 사용하여 출력과 그라운드 트루스 클래스 프로토타입 사이의 (1 - cos theta)^2를 최소화하는 방식으로 학습한다.
• 데이터에 의존하지 않는 최적화를 통해 프로토타입을 위치시키고, 선택적으로 클래스 트라이폴트에 대한 랭킹 기반 손실을 통해 의미론적 priors를 적용한다.
• 상한/하한으로 두 개의 반대 프로토타입을 유지하고 코사인 유사도에 의해 보간하여 회귀로 확장한다.
• 공통의 제곱 코사인 손실을 사용하여 과제 가중치를 조정하지 않고도 joint 분류와 회귀를 허용한다.
• 하이퍼스피어에서의 대형 분리를 강제하는 미분 가능한 objective를 통해 프로토타입 배치를 최적화하는 메커니즘을 제공한다.

실험 결과

연구 질문

• RQ1 고정된 하이퍼스피어 프로토타입이 출력 차원이 가변적인 표준 데이터셋에서 경쟁력 있는 정확도를 제공하는가?
• RQ2 출력 공간이 작거나 고르게 분포되지 않을 때 프로토타입 배치에 의미론적 priors를 도입하면 분류 성능이 개선되는가?
• RQ3 경계 간의 코사인 기반 보간을 사용하여 더 높은 차원의 하이퍼스피어 출력 공간에서 회귀를 효과적으로 수행할 수 있는가?
• RQ4 같은 출력 공간에서 과제 가중치를 조정하지 않고 분류와 회귀를 함께 학습하는 것이 가능한가?
• RQ5 hyperspherical prototypes가 기존 prototype 기반 방법 및 softmax에 비해 수렴성과 견고성 측면에서 어떤 차이를 보이는가?

주요 결과

• Hyperspherical prototypes는 CIFAR-100 및 ImageNet-200에서 여러 출력 차원에 대해 높은 정확도를 달성하고, one-hot 및 Word2vec 프로토타입 베이스라인을 능가한다.
• 프로토타입이 하이퍼스피어에서 분리되는 정도가 항상 베이스라인보다 높아 클래스 간 분리가 더 잘 된다.
• 의미론적 정보를 도입하면 특히 작은 출력 차원에서 분류 성능이 향상된다.
• 이 방법은 OmniArt에서 강건한 회귀 결과를 보여주며, 학습률 선택에 대한 민감도가 베이스라인 MSE 방법보다 크지 않다.
• 회전된 MNIST에서 같은 공간에서의 회귀 및 분류를 함께 수행하는 다중 작업 모델링 능력을 보인다.
• softmax 교차 엔트로피와 비교할 때 클래스당 학습 데이터가 부족하거나 고르게 분포되지 않은 경우 hyperspherical prototypes가 더 나은 성능을 보인다.