[논문 리뷰] Pushing the Limits of Capsule Networks

Prem Nair, Rohan Doshi외 1명|arXiv (Cornell University)|2021. 03. 15.

Advanced Neural Network Applications참고 문헌 6인용 수 8

한 줄 요약

이 논문은 MNIST를 초월해 점점 더 복잡한 데이터셋에서 캡슐 네트워크(CapsNets)의 성능과 견고성을 조사하며, MNIST 및 패션-MNIST에서는 뛰어난 재구성 성능과 중간 정도의 정확도를 달성하지만, SVHN과 CIFAR-10에서는 빈약한 임베딩 분리도와 노이즈가 많은 재구성으로 인해 일반화에 실패함을 밝혀냈다. 연구는 동적 라우팅 메커니즘과 캡슐 아키텍처의 한계를 규명하며, 현재의 CapsNet 설계는 아키텍처나 라우팅 개선 없이 복잡한 시각 작업에 적용하기에는 아직 실현 가능하지 않다고 제안한다.

ABSTRACT

Convolutional neural networks use pooling and other downscaling operations to maintain translational invariance for detection of features, but in their architecture they do not explicitly maintain a representation of the locations of the features relative to each other. This means they do not represent two instances of the same object in different orientations the same way, like humans do, and so training them often requires extensive data augmentation and exceedingly deep networks. A team at Google Brain recently made news with an attempt to fix this problem: Capsule Networks. While a normal CNN works with scalar outputs representing feature presence, a CapsNet works with vector outputs representing entity presence. We want to stress test CapsNet in various incremental ways to better understand their performance and expressiveness. In broad terms, the goals of our investigation are: (1) test CapsNets on datasets that are like MNIST but harder in a specific way, and (2) explore the internal embedding space and sources of error for CapsNets.

연구 동기 및 목표

• MNIST보다 더 복잡한 데이터셋에서 CapsNets의 성능과 견고성, 일반화 능력을 평가하기 위해 점차 복잡도가 높아지는 데이터셋을 대상으로 테스트한다.
• CapsNets의 내부 임베딩 공간을 분석하고 예측 및 재구성 오류의 원인을 규명한다.
• 동적 라우팅과 재구성 메커니즘이 공간적 관계와 객체 구성 요소를 효과적으로 포착하는지 평가한다.
• CapsNets가 간단한 분류 작업을 초월해 더 복잡한 시각 문제에 일반화할 수 있는지 탐색한다.

제안 방법

• 저자들은 주어진 CapsNet 아키텍처를 사용하여 주요 캡슐, 디지트 캡슐, 재구성 헤드를 포함하고, 주요 캡슐과 디지트 캡슐 간에 동적 라우팅을 적용한다.
• MNIST, 패션-MNIST, SVHN, CIFAR-10에 캡슐 네트워크를 적용하여 50 에포크 동안 훈련시키며, 라우팅 반복 수를 2, 3, 5로 다양하게 설정한다.
• 캡슐 출력에 스쿼시 비선형성을 적용하여 벡터 크기를 정규화하고, 엔티티 존재 확률을 표현한다.
• 동적 라우팅은 예측 벡터와 활성화 벡터 간의 일치도를 기반으로 반복 업데이트를 수행하는 라우팅 소프트맥스를 사용한다.
• t-SNE와 PCA 시각화를 통해 다양한 데이터셋 간에 학습된 임베딩의 구조성과 분리 가능성 분석을 수행한다.
• 재구성 품질과 분류 정확도를 평가하며, 오류 분석은 주로 노이즈가 많거나 모호한 재구성에 집중한다.

실험 결과

연구 질문

• RQ1 CapsNets는 패션-MNIST, SVHN, CIFAR-10와 같이 MNIST보다 더 복잡한 데이터셋으로 일반화할 수 있는가?
• RQ2 라우팅 반복 수의 변화가 CapsNet 성능과 임베딩 품질에 어떤 영향을 미치는가?
• RQ3 CapsNet 임베딩이 객체의 의미 있는 공간적 및 구조적 특징을 어느 정도 잘 포착하는가?
• RQ4 MNIST에서는 성공했지만 SVHN과 CIFAR-10 같은 복잡한 데이터셋의 재구성에 실패하는 이유는 무엇인가?
• RQ5 임베딩의 t-SNE 및 PCA 시각화는 CapsNet 표현의 구조적 결함를 드러낼 수 있는가?

주요 결과

• CapsNets는 MNIST 및 패션-MNIST에서는 높은 재구성 품질과 중간 정도의 정확도를 달성했지만, SVHN과 CIFAR-10에서는 성능이 크게 떨어졌다.
• t-SNE 시각화 결과, 오직 MNIST 임베딩만 클래스별로 깔끔하고 분리된 클러스터를 형성한 반면, 다른 데이터셋은 질서가 없고 겹치는 구조를 보였다.
• 라우팅 반복 수를 3 이상으로 늘여도 성능 향상이 없었고, 오히려 악화되는 경우도 있어 현재 라우팅 메커니즘이 취약하고 충분히 활용되지 않는다는 점을 시사했다.
• SVHN과 CIFAR-10의 임베딩 벡터는 주로 밝기와 색상 정보를 담고 있었고, 구조적 또는 자세 관련 특징은 거의 반영하지 않아 빈약한 분리도를 보였다.
• 대부분의 분류 오류는 노이즈가 많거나 모호한 재구성과 관련이 있었으며, 이는 재구성 실패가 오분류의 주요 원인임을 시사했다.
• 연구는 라우팅과 아키텍처의 한계로 인해 CapsNets가 아직 복잡한 시각 작업에 적합하지 않음을 밝혀냈지만, 캡슐 개념 자체는 향후 개선을 통해 유망한 방향성을 지닌다.