[논문 리뷰] Deep Hyperspherical Learning

Weiyang Liu, Yan‐Ming Zhang외 5명|arXiv (Cornell University)|2017. 11. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 55

한 줄 요약

SphereNet은 고차 구면에서 inner-product convolution을 SphereConv로 대체하고 각도 GA-Softmax 손실을 사용하여 네트워크 전반의 학습 안정성, 수렴 속도 및 정확도를 향상시킵니다.

ABSTRACT

Convolution as inner product has been the founding basis of convolutional neural networks (CNNs) and the key to end-to-end visual representation learning. Benefiting from deeper architectures, recent CNNs have demonstrated increasingly strong representation abilities. Despite such improvement, the increased depth and larger parameter space have also led to challenges in properly training a network. In light of such challenges, we propose hyperspherical convolution (SphereConv), a novel learning framework that gives angular representations on hyperspheres. We introduce SphereNet, deep hyperspherical convolution networks that are distinct from conventional inner product based convolutional networks. In particular, SphereNet adopts SphereConv as its basic convolution operator and is supervised by generalized angular softmax loss - a natural loss formulation under SphereConv. We show that SphereNet can effectively encode discriminative representation and alleviate training difficulty, leading to easier optimization, faster convergence and comparable (even better) classification accuracy over convolutional counterparts. We also provide some theoretical insights for the advantages of learning on hyperspheres. In addition, we introduce the learnable SphereConv, i.e., a natural improvement over prefixed SphereConv, and SphereNorm, i.e., hyperspherical learning as a normalization method. Experiments have verified our conclusions.

연구 동기 및 목표

• 깊은 CNN에서 깊이와 큰 매개변수 공간으로 인해 발생하는 학습의 어려움을 해결한다.
• 하이퍼스페어얼 구면 컨볼루션(SphereConv)과 각도 감독으로 최적화 및 일반화를 향상시킨다.
• 학습 가능 SphereConv와 SphereNorm을 포함한 SphereNet 변형을 개발한다.
• CIFAR 및 ImageNet과 같은 대규모 데이터셋에서 개선된 수렴성과 경쟁력 있는/최상위 수준의 정확성을 입증한다.

제안 방법

• 단위 구면에서 코사인 유사도에 가까운 각도 유사성으로 SphereConv를 정의하며, 세 가지 인스턴스: linear, cosine, sigmoid(및 학습 가능 변형)를 포함한다.
• 표준 합성곱을 SphereConv로 대체하고 일반화 각도 소프트맥스(GA-Softmax) 손실로 감독한다(특수 사례로 W-Softmax를 포함).
• 구면에서의 최적화 조건화가 개선된다는 이론적 인사이트를 제시하고 가중치 노름에 대한 민감성을 회피한다.
• SphereConv를 완전 연결 계층 및 기존 아키텍처(VGG, GoogLeNet, ResNet 등)로 확장하고 SphereNorm을 보완 정규화로 사용한다.
• 학습 전략, SphereConv의 역전파, 커널의 근사 직교성(대략적인 직교성)을 통한 정규화 등을 논의한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 하이퍼스피어에서의 학습이 조건화 및 최적화 속도를 향상시키나요?
• RQ2 SphereConv와 각도 손실이 아키텍처 및 데이터셋에 걸쳐 전통적인 내적(convolution)보다 일관되게 우수한가요?
• RQ3 다른 SphereConv 변형(linear, cosine, sigmoid)과 GA-Softmax 손실이 정확도와 학습 안정성에서 어떻게 비교되나요?
• RQ4 SphereConv가 효과적으로 정규화(SphereNorm)로 작동하고 추가 이득을 위한 학습 가능한 매개변수를 가능하게 하나요?

주요 결과

• SphereConv 연산자는 아키텍처와 손실 선택에 관계없이 원래의 합성곱을 일관되게 능가합니다.
• 적절히 선택된 매개변수를 가진 Sigmoid SphereConv가 테스트된 변형들 중 종종 최고 정확도를 보입니다.
• SphereNet은 수렴 속도를 빠르게 하고 안정성을 높여 잔차 단축 없이 매우 깊은 일반 네트워크의 학습을 가능하게 합니다.
• 학습 가능 SphereConv가 성능을 더 향상시키며, 계층별 각도 매개변수의 적응이 이점임을 시사합니다.
• SphereNorm은 BatchNorm을 보완하며 함께 사용할 때 성능을 향상시킬 수 있습니다.