[논문 리뷰] CapProNet: Deep Feature Learning via Orthogonal Projections onto Capsule Subspaces

Liheng Zhang, Marzieh Edraki외 1명|arXiv (Cornell University)|2018. 05. 19.

Advanced Neural Network Applications참고 문헌 13인용 수 38

한 줄 요약

CapProNet은 입력 특징을 학습된 직교 캡슐 부분공간에 투영함으로써 특징 표현을 향상시키는 새로운 딥러닝 프레임워크를 제안한다. 캡슐 길이를 사용하여 분류를 수행하며, CIFAR 및 SVHN 벤치마크에서 최신 기술 수준의 성능을 달성하여 ResNet 대비 테스트 오차를 10–20% 감소시키고, DenseNet 대비 5–7% 감소시킨다. 계산 오버헤드는 극히 적다.

ABSTRACT

In this paper, we formalize the idea behind capsule nets of using a capsule vector rather than a neuron activation to predict the label of samples. To this end, we propose to learn a group of capsule subspaces onto which an input feature vector is projected. Then the lengths of resultant capsules are used to score the probability of belonging to different classes. We train such a Capsule Projection Network (CapProNet) by learning an orthogonal projection matrix for each capsule subspace, and show that each capsule subspace is updated until it contains input feature vectors corresponding to the associated class. We will also show that the capsule projection can be viewed as normalizing the multiple columns of the weight matrix simultaneously to form an orthogonal basis, which makes it more effective in incorporating novel components of input features to update capsule representations. In other words, the capsule projection can be viewed as a multi-dimensional weight normalization in capsule subspaces, where the conventional weight normalization is simply a special case of the capsule projection onto 1D lines. Only a small negligible computing overhead is incurred to train the network in low-dimensional capsule subspaces or through an alternative hyper-power iteration to estimate the normalization matrix. Experiment results on image datasets show the presented model can greatly improve the performance of the state-of-the-art ResNet backbones by $10-20\%$ and that of the Densenet by $5-7\%$ respectively at the same level of computing and memory expenses. The CapProNet establishes the competitive state-of-the-art performance for the family of capsule nets by significantly reducing test errors on the benchmark datasets.

연구 동기 및 목표

• 분류를 위해 뉴런 활성화가 아닌 캡슐 부분공간에 대한 직교 투영을 사용하여 캡슐 네트워크를 체계화하고 개선한다.
• 기존 캡슐 네트워크의 아키텍처적 혁신에도 불구하고 성능 향상이 제한적인 문제를 해결한다.
• 단순한 뉴런 그룹화가 아니라 캡슐 투영이 뚜렷한 성능 향상을 이끌어낸다는 것을 입증한다.
• 캡슐 투영 메커니즘이 최소한의 계산 및 메모리 오버헤드로 효과적인 엔드 투 엔드 훈련을 가능하게 한다는 것을 보여준다.

제안 방법

• 모델은 각 클래스별로 하나씩 직교 투영 행렬을 학습하여 입력 특징 벡터를 클래스별 캡슐 부분공간에 투영한다.
• 입력 특징은 캡슐 성분(부분공간에 투영된 성분)과 보완 성분(부분공간에 수직인 성분)으로 직교 분해된다.
• 투영에서 유도된 캡슐 길이가 클래스 존재 여부의 점수로 사용되며, 방향은 자세 및 척도와 같은 인스턴티에이션 파라미터를 캡슐화한다.
• 보완 성분을 통한 기울기 전파를 활용하여 투영 행렬을 백프로파게이션을 통해 업데이트함으로써 캡슐 부분공간의 반복적 개선이 가능하다.
• 하위공간이 1차원일 경우, 이는 가중치 정규화의 특수 케이스로 일반화되며, 다차원 직교 기저 학습으로 확장된다.
• 효율적인 하이퍼파워 반복을 사용하여 정규화 행렬을 추정함으로써 계산 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 표준 캡슐 또는 완전 연결 층 대비 학습된 캡슐 부분공간에 대한 직교 투영이 딥 네트워크의 분류 정확도를 크게 향상시킬 수 있는가?
• RQ2 캡슐 투영 메커니즘은 단순한 뉴런 그룹화보다 외관 변화에 대해 더 효과적인 불변성을 제공하는가?
• RQ3 ResNet 및 DenseNet과 같은 최신 기반 네트워크와 비교했을 때, 제안된 방법은 정확도 및 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 캡슐 부분공간의 직교 구조가 수렴 속도 향상과 더 나은 일반화에 기여하는 정도는 어느 정도인가?
• RQ5 캡슐 투영은 상당한 오버헤드 없이 기존 네트워크 아키텍처에 원활하게 통합될 수 있는가?

주요 결과

• 동일한 기반 네트워크를 사용할 때, CIFAR10의 테스트 오차를 10.3%에서 3.64%로 감소시키고, SVHN의 테스트 오차를 4.3%에서 1.54%로 감소시킨다.
• 훈련 시간 추가 비용이 1% 미만이며 메모리 오버헤드도 극히 적은 조건에서 ResNet-110의 정확도를 10–20% 향상시키고, DenseNet의 정확도를 5–6% 향상시킨다.
• 단순히 뉴런을 캡슐로 그룹화하는 것(GrouPNeuron)은 성능 향상을 이끌지 못하며, 이는 메서드 성공의 핵심이 직교 투영임을 보여준다.
• 캡슐 투영 메커니즘은 고차원 가중치 정규화와 수학적으로 동치이며, 표준 가중치 정규화는 1차원 특수 케이스로 간주된다.
• 시각화 결과는 올바르게 분류된 샘플이 해당 부분공간 내에서 더 긴 캡슐로 투영됨을 확인하여, 캡슐 길이가 신뢰할 수 있는 분류 지표임을 검증한다.
• 계산 비용은 극도로 낮으며, ResNet-110 기반 CIFAR10에서 반복당 0.01초 미만의 시간만 소요되어 실세계 적용에 실용적이다.