[논문 리뷰] HitNet: a neural network with capsules embedded in a Hit-or-Miss layer, extended with hybrid data augmentation and ghost capsules

Adrien Deliège, Anthony Cioppa외 1명|arXiv (Cornell University)|2018. 06. 18.

Advanced Neural Network Applications참고 문헌 23인용 수 39

한 줄 요약

HitNet는 전통적인 분류 레이어를 대체하기 위해 히트 또는 미스(Hit-or-Miss, HoM) 레이어를 갖춘 새로운 신경망 아키텍처를 제안한다. 중심 향하는 손실(Centripetal loss)을 사용하여 분류 정확도와 속도를 향상시키며, MNIST에서 최신 기준 성능을 달성하고 CapsNet보다 여러 데이터셋에서 뛰어난 성능을 보인다. 또한 학습된 프로토타입과 가짜 캡슐(ghost capsules)을 통한 하이브리드 데이터 증강 기법을 제공하여 잘못 레이블링된 데이터를 탐지할 수 있다.

ABSTRACT

Neural networks designed for the task of classification have become a commodity in recent years. Many works target the development of better networks, which results in a complexification of their architectures with more layers, multiple sub-networks, or even the combination of multiple classifiers. In this paper, we show how to redesign a simple network to reach excellent performances, which are better than the results reproduced with CapsNet on several datasets, by replacing a layer with a Hit-or-Miss layer. This layer contains activated vectors, called capsules, that we train to hit or miss a central capsule by tailoring a specific centripetal loss function. We also show how our network, named HitNet, is capable of synthesizing a representative sample of the images of a given class by including a reconstruction network. This possibility allows to develop a data augmentation step combining information from the data space and the feature space, resulting in a hybrid data augmentation process. In addition, we introduce the possibility for HitNet, to adopt an alternative to the true target when needed by using the new concept of ghost capsules, which is used here to detect potentially mislabeled images in the training data.

연구 동기 및 목표

• 캡슐 기반 표현 능력을 유지하면서 아키텍처를 단순화하여 CapsNet의 더 빠르고 정확한 대안을 개발한다.
• 특징 공간의 프로토타입에서 생성된 합성 데이터와 실제 데이터를 조합하여 효과적인 데이터 증강을 가능하게 한다.
• 가짜 캡슐을 활용해 대체 클래스 예측을 평가함으로써 잠재적으로 잘못 레이블링된 학습 이미지를 탐지한다.
• 복잡한 동적 라우팅을 사용하는 복잡한 캡슐 네트워크보다 최소한의 캡슐 레이어가 더 뛰어난 성능을 낼 수 있음을 보여준다.

제안 방법

• 히트 또는 미스(HoM) 레이어를 도입하여 캡슐이 진짜 클래스 캡슐을 '히트'하고 다른 클래스 캡슐을 '미스'하도록 새로운 중심 향하는 손실 함수를 사용해 훈련한다.
• 복구 네트워크(디코더)를 활용해 HoM 레이어의 재구성된 특징을 변형하여 클래스별 대표 프로토타입을 생성한다.
• 특징 공간에서 변형된 프로토타입으로부터 생성된 합성 이미지를 실제 훈련 이미지와 조합하여 하이브리드 데이터 증강을 적용한다.
• 가짜 캡슐을 통합하여 대체 클래스 예측을 시뮬레이션하고, 이들이 목표 클래스를 '히트'할지 평가함으로써 모호하거나 잘못 레이블링된 샘플을 탐지할 수 있도록 한다.
• 캡슐 벡터의 방향을 유지하고 활성화 벡터 길이가 존재 확률을 나타내도록 스quashing 활성화 함수를 사용한다.
• 종합 손실을 사용해 네트워크를 엔드 투 엔드로 훈련한다: 분류를 위한 중심 향하는 손실과 프로토타입 생성을 위한 복구 손실.

실험 결과

연구 질문

• RQ1 새로운 손실 함수를 갖춘 최소한의 캡슐 레이어가 표준 벤치마크에서 CapsNet보다 정확도와 속도 면에서 뛰어난 성능을 낼 수 있는가?
• RQ2 디코더에서 파생된 프로토타입이 데이터 공간과 특징 공간에서의 생성을 조합한 하이브리드 데이터 증강에 효과적으로 활용될 수 있는가?
• RQ3 가짜 캡슐을 통해 대체 클래스 예측을 평가함으로써 잠재적으로 잘못 레이블링된 이미지를 탐지할 수 있는가?
• RQ4 HitNet은 학습률 감소나 광범위한 하이퍼파rameter 튜닝 없이도 잘 일반화되는가?

주요 결과

• HitNet은 얕은 아키텍처로 MNIST 데이터셋에서 최신 기준 성능을 달성하며, CapsNet에서 보고된 결과를 초월한다.
• affNIST, multiMNIST, SVHN, smallNORB, CIFAR10 등 여러 데이터셋에서 재현된 CapsNet 결과보다 HitNet이 뛰어난 성능을 보이며, 최소 10배 빠른 훈련 속도를 기록한다.
• 학습률 감소 없이도 안정적으로 수렴하며, 다양한 랜덤 시드에서 낮은 분산을 보이며 강인함을 입증한다.
• 프로토타입을 활용한 하이브리드 데이터 증강은 일반화 성능을 향상시키고, 현실적인 합성 샘플을 생성함으로써 분류 정확도를 약간 향상시킨다.
• 가짜 캡슐은 강력한 대체 클래스 예측을 탐지함으로써 의심스러운 학습 이미지를 성공적으로 식별하여 잠재적인 레이블링 오류를 탐지할 수 있다.
• 중심 향하는 손실을 사용하는 HoM 레이어는 동적 라우팅을 사용하는 CapsNet보다 더 빠른 수렴과 향상된 성능을 제공하면서도 캡슐 기반의 공간적 추론 능력을 유지한다.