[논문 리뷰] Examining the Benefits of Capsule Neural Networks

Arjun Punjabi, Jonas M. Schmid외 1명|arXiv (Cornell University)|2020. 01. 29.

Advanced Neural Network Applications참고 문헌 33인용 수 7

한 줄 요약

이 논문은 깊이 있는 시각화, 활성화 최대화, PCA 기반 변환 분석을 통해 캡슐 신경망(CapsNets)의 특징 표현을 분석함으로써 캡슐 신경망의 성질을 조사한다. 연구 결과 캡슐 특징은 CNN보다 회전, 스케일링 등 인스턴스화 파rameter를 더 효과적으로 인코딩하며, 재구성 네트워크가 분류 성능을 유지하는 데 핵심적인 역할을 하지만, 동적 라우팅은 주장된 바와 같이 큰 도움을 주지 못하는 것으로 나타났다.

ABSTRACT

Capsule networks are a recently developed class of neural networks that potentially address some of the deficiencies with traditional convolutional neural networks. By replacing the standard scalar activations with vectors, and by connecting the artificial neurons in a new way, capsule networks aim to be the next great development for computer vision applications. However, in order to determine whether these networks truly operate differently than traditional networks, one must look at the differences in the capsule features. To this end, we perform several analyses with the purpose of elucidating capsule features and determining whether they perform as described in the initial publication. First, we perform a deep visualization analysis to visually compare capsule features and convolutional neural network features. Then, we look at the ability for capsule features to encode information across the vector components and address what changes in the capsule architecture provides the most benefit. Finally, we look at how well the capsule features are able to encode instantiation parameters of class objects via visual transformations.

연구 동기 및 목표

• 캡슐 네트워크가 전통적인 CNN과 특징 표현 및 기능 면에서 본질적으로 다른가를 규명하는 것.
• 동적 라우팅과 재구성 네트워크와 같은 핵심 아키텍처 구성 요소가 캡슐 특징이 공간 변환을 어떻게 인코딩할 수 있는지 평가하는 것.
• 캡슐 특징이 회전, 스케일링, 이동과 같은 인스턴스화 파rameter를 시각적 변환 분석을 통해 효과적으로 표현할 수 있는지 평가하는 것.
• 활성화 최대화 및 깊이 있는 시각화 기법을 사용하여 캡슐 특징와 CNN 특징를 비교함으로써 시각적 및 구조적 차이를 식별하는 것.
• 캡슐 벡터가 다수의 벡터 성분을 통해 정보를 인코딩하는 방식이 변환에 대한 강건한 특징 일반화를 지원하는지 조사하는 것.

제안 방법

• 개별 캡슐 특징의 내용을 나타내는 이미지를 생성하기 위해 활성화 최대화를 사용하여 깊이 있는 시각화를 수행한다.
• 캡슐 특징 벡터에 대해 PCA를 적용하여 주성분을 식별하고, 벡터 성분의 변화가 시각적 출력에 미치는 영향을 분석한다.
• PCA 공간에서 캡슐 벡터 성분을 수정하고 해당 이미지를 재구성함으로써 변환 인코딩을 테스트하기 위해 사전 영상 분석을 수행한다.
• 동일한 시각화 및 최대화 기법을 사용하여 캡슐 특징와 CNN 특징를 비교함으로써 특징 표현력의 차이를 부각시킨다.
• 에너지 압축 분석을 통해 재구성 네트워크와 동적 라우팅을 제거했을 때 캡슐 특징 품질에 미치는 영향을 평가한다.
• 벡터 성분을 체계적으로 수정하고 결과 이미지의 변형을 관찰함으로써 캡슐 벡터가 인스턴스화 파rameter를 어떻게 인코딩하는지 분석한다.

실험 결과

연구 질문

• RQ1 활성화 최대화 출력 측면에서 캡슐 특징는 전통적인 CNN 특징와 시각적 및 구조적으로 어떻게 다를까?
• RQ2 캡슐 벡터 성분이 회전, 스케일링, 이동과 같은 특정 시각적 변환을 어느 정도 효과적으로 인코딩할 수 있을까?
• RQ3 동적 라우팅과 재구성 네트워크 중 어느 것이 캡슐 특징가 변환에 대해 일반화하는 데 더 기여하는가?
• RQ4 정보는 캡슐 벡터 성분 간에 어떻게 분포되어 있으며, 이는 스칼라 CNN 특징보다 더 풍부한 표현을 지원하는가?
• RQ5 다중 캡슐 성분을 순서대로 수정하면 일관되고 예측 가능한 시각적 변화가 발생하는가? 이는 효과적인 변환 인코딩을 시사하는가?

주요 결과

• CNN 특징와 달리, 캡슐 특징는 활성화 최대화를 거쳐도 일관되고 의미 있는 이미지를 생성함으로써 더 풍부한 특징 표현을 나타낸다.
• 캡슐 벡터는 스케일링, 이동, 두께 변화 등 인스턴스화 파ram터를 효과적으로 인코딩한다. 이로 인해 예측 가능하고 일관된 시각적 변환이 발생한다.
• 회전은 훈련 데이터에서 회전 변형의 범위가 제한되어 있어 인코딩이 더 어려웠으며, 이로 인해 사전 영상 재구성에서 부분적이고 비대칭적인 물체의 회전이 발생했다.
• 재구성 네트워크를 제거했을 경우 캡슐 특징는 분류 성능를 상실하고 한두 개의 주성분에 집중되어 스칼라 CNN와 유사한 행동을 보였다.
• 에너지 압축 분석 결과, 동적 라우팅과 재구성 네트워크를 모두 갖춘 캡슐은 정보를 다수의 벡터 성분에 분산시켜 강건성을 향상시켰다.
• 사전 영상 분석 결과, PCA 공간에서 캡슐 성분을 수정하면 일관된 시각적 변환이 발생함을 확인하여, 캡슐이 인스턴스화 파ram터를 효과적으로 인코딩한다는 가설을 뒷받침한다.