[논문 리뷰] Capsule networks for low-data transfer learning

Andrew Gritsevskiy, Maksym Korablyov|arXiv (Cornell University)|2018. 04. 26.

Topic Modeling참고 문헌 2인용 수 3

한 줄 요약

이 논문은 저데이터 전이학습을 위한 캡슐 네트워크 기반 아키텍처를 제안하며, 중간 라우팅을 통한 생성형 및 비생성형 캡슐 네트워크를 활용하여 소수의 예시로 새로운 클래스에 훨씬 더 빠르게 적응할 수 있도록 한다. 실험 결과, 생성형 캡슐 네트워크는 동일한 컨볼루션 신경망보다 25배 이상 빠르게 미지의 숫자에 일반화되며, multiMNIST 데이터셋에서 누락된 숫자에 대해 1~100개의 훈련 예시로도 유사한 정확도에 도달함을 보였다.

ABSTRACT

We propose a capsule network-based architecture for generalizing learning to new data with few examples. Using both generative and non-generative capsule networks with intermediate routing, we are able to generalize to new information over 25 times faster than a similar convolutional neural network. We train the networks on the multiMNIST dataset lacking one digit. After the networks reach their maximum accuracy, we inject 1-100 examples of the missing digit into the training set, and measure the number of batches needed to return to a comparable level of accuracy. We then discuss the improvement in low-data transfer learning that capsule networks bring, and propose future directions for capsule research.

연구 동기 및 목표

• 인간이 소수의 예시로 새로운 개념을 학습하는 데 반해 신경망이 새로운 개념으로 일반화하기 위해 대량의 데이터가 필요한 문제를 해결하기 위해.
• 캡슐 네트워크가 저데이터 환경에서 전이학습 성능을 크게 향상시킬 수 있는지 조사하기 위해.
• 중간 라우팅을 적용한 생성형 및 비생성형 캡슐 네트워크가 소수의 훈련 예시로 새로운 클래스에 적응하는 데 얼마나 효과적인지 평가하기 위해.
• 누락된 숫자 데이터를 부분적으로 훈련된 모델에 주입했을 때, 캡슐 네트워크와 컨볼루션 신경망 간의 수렴 속도와 최종 정확도를 비교하기 위해.

제안 방법

• 연구는 세 가지 아키텍처를 사용한다: 표준 컨볼루션 신경망(CNN), 동적 라우팅을 사용하는 일반 캡슐 네트워크, 그리고 컨볼루션 복원을 사용하는 메모 아키텍처를 적용한 생성형 캡슐 네트워크.
• 캡슐 네트워크에서 동적 라우팅은 캡슐 간의 예측 일치도를 기반으로 정보를 라우팅함으로써 더 나은 객체 자세 및 인스턴스 파라미터 추정을 가능하게 한다.
• 생성형 캡슐 네트워크는 숫자 캡슐 활성화로부터 입력 이미지를 복원함으로써 엔드 투 엔드 훈련을 통해 특징 학습과 일반화를 향상시킨다.
• 실험은 누락된 숫자(서브MMNIST)와 제한된 예시(ldMMNIST)를 포함한 multiMNIST 데이터셋을 사용하며, 단일 숫자에 대해 1~5000개의 예시만 존재한다.
• 훈련은 먼저 서브MMNIST(누락된 숫자)에서 수행된 후, 다중MNIST 또는 ldMMNIST를 통해 누락된 숫자가 주입되고, 이전 정확도에 도달하는 데 걸리는 수렴 속도가 측정된다.
• 성능 평가는 데이터 주입 후 미세조정 중 배치 단위 정확도를 추적함으로써 평가되며, 최종 정확도와 수렴 시간이 주요 지표로 사용된다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 기존 CNN보다 훨씬 적은 훈련 예시로 새로운 클래스에 일반화할 수 있는가?
• RQ2 캡슐 네트워크에 생성형 복원 기능을 포함할 경우, 저데이터 전이학습에서 수렴 속도에 어떤 영향을 미치는가?
• RQ3 부분적으로 훈련된 모델에 누락된 숫자를 주입했을 때, 캡슐 네트워크와 CNN 간의 적응 속도 향상 정도는 어떠한가?
• RQ4 캡슐 네트워크에서 중간 라우팅이 소수의 예시 학습 시나리오에서 일반화를 향상시키는가?
• RQ5 1~5000개의 소수의 예시 수에 따라 캡슐 네트워크의 수렴 속도가 CNN에 비해 어떻게 영향을 받는가?

주요 결과

• 누락된 숫자 100개의 예시를 훈련 세트에 주입했을 때, 생성형 캡슐 네트워크는 동일한 컨볼루션 신경망보다 전력적으로 25배 이상 빠르게 이전 정확도 수준에 도달했다.
• 100개의 예시를 주입한 후 생성형 캡슐 네트워크는 전체 숫자 테스트 세트에서 최종 테스트 정확도 0.974999995를 기록했으며, 이는 수렴 속도에서 CNN을 크게 앞서는 성과였다.
• 누락된 숫자에 대해 단 1개의 예시만 존재할 때도 생성형 캡슐 네트워크는 최종 정확도 0.970703125를 달성하여 강력한 소수의 예시 일반화 능력을 보였다.
• 캡슐 네트워크는 미세조정 전반에 걸쳐 높은 정확도(0.96 초과)를 유지했으며, CNN은 데이터 주입 단계 이후 회복하기 위해 훨씬 더 많은 배치가 필요했다.
• 생성형 캡슐 네트워크의 복원 메커니즘이 더 나은 특징 분리 및 자세 추정 덕분에 저데이터 환경에서 더 빠르고 안정적인 적응을 가능하게 했다.
• 단 1개의 누락된 숫자 예시만 존재할 때도 캡슐 네트워크는 최종 정확도 0.9707을 달성하여 극도로 적은 감독 정보에서도 강력한 일반화 능력을 보였다.