[논문 리뷰] Learning with Capsules: A Survey

Fabio De Sousa Ribeiro, Kévin Duarte외 3명|arXiv (Cornell University)|2022. 06. 06.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 종합 검토는 동적 라우팅을 통해 계층적 부분-전체 관계를 모델링함으로써 객체 중심, 자세 인식 가능 표현을 학습하기 위한 CNN의 대안으로서 캡슐 네트워크에 대한 포괄적인 개요를 제공한다. 이는 트랜스포머의 어텐션 메커니즘과의 연결을 강조하며, 비전, NLP, 의료 영상 분야에서의 응용을 검토하고, 향후 연구를 위한 효율성, 확장성, 등변성의 주요 과제를 규명한다.

ABSTRACT

Capsule networks were proposed as an alternative approach to Convolutional Neural Networks (CNNs) for learning object-centric representations, which can be leveraged for improved generalization and sample complexity. Unlike CNNs, capsule networks are designed to explicitly model part-whole hierarchical relationships by using groups of neurons to encode visual entities, and learn the relationships between those entities. Promising early results achieved by capsule networks have motivated the deep learning community to continue trying to improve their performance and scalability across several application areas. However, a major hurdle for capsule network research has been the lack of a reliable point of reference for understanding their foundational ideas and motivations. The aim of this survey is to provide a comprehensive overview of the capsule network research landscape, which will serve as a valuable resource for the community going forward. To that end, we start with an introduction to the fundamental concepts and motivations behind capsule networks, such as equivariant inference in computer vision. We then cover the technical advances in the capsule routing mechanisms and the various formulations of capsule networks, e.g. generative and geometric. Additionally, we provide a detailed explanation of how capsule networks relate to the popular attention mechanism in Transformers, and highlight non-trivial conceptual similarities between them in the context of representation learning. Afterwards, we explore the extensive applications of capsule networks in computer vision, video and motion, graph representation learning, natural language processing, medical imaging and many others. To conclude, we provide an in-depth discussion regarding the main hurdles in capsule network research, and highlight promising research directions for future work.

연구 동기 및 목표

• 기초 개념과 동기에 대한 통합된 포괄적 참고자료를 제공하여 캡슐 네트워크 연구 분야에서 기반 개념과 동기에 대한 통합된 참조점 부족 문제를 해결하기 위해.
• 캡슐 라우팅 메커니즘의 기술적 진화와 다양한 제안 방식, 예를 들어 생성적 및 기하학적 접근 방식을 분석하기 위해.
• 캡슐 네트워크와 트랜스포머의 어텐션 메커니즘 사이의 개념적 유사성을 탐구하며, 특히 고차원 일치 필터링과 합의 기반 특징 탐지에서의 공통 원리를 강조하기 위해.
• 컴퓨터 비전, NLP, 의료 영상, 고장 진단, 위조 탐지 등 다양한 분야에서 캡슐 네트워크의 응용을 조사하기 위해.
• 계산 효율성 부족, 확장성 문제, 공식적인 등변성 보장이 필요한 점과 같은 주요 열린 과제를 규명하고, 향후 연구 방향을 제안하기 위해.

제안 방법

• 캡슐 네트워크의 핵심 원리를 체계적으로 분류하고 설명하며, 엔티티와 그들의 공간적 관계를 코딩하는 벡터 값 뉴런(캡슐)의 사용을 포함한다.
• 예측과 변환 간의 합의를 기반으로 캡슐 활성화를 동적으로 라우팅하는 '합의 기반 라우팅' 메커니즘을 상세히 기술한다.
• 캡슐 네트워크와 트랜스포머의 어텐션 메커니즘을 비교하며, 고차원 벡터 연산과 합의 기반 필터링과 같은 공통 원리를 강조한다.
• 구조적 변형을 조사하며, 생성적 캡슐 네트워크, 기하학적 캡슐 네트워크, 트랜스포머 또는 ViT 스타일의 패치 처리와 캡슐 모듈을 통합한 하이브리드 모델을 포함한다.
• 기본 캡슐이 저수준 부분 표현을 학습하는 역할를 분석하고, 최근에는 운동 신호를 활용한 부분 정의 향상에 관한 최신 기술을 논의한다.
• 비디오 이해, 의료 영상 세그멘테이션, 이상 탐지 등 다양한 도메인에서 캡슐 네트워크의 성능와 한계를 평가한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 부분-전체 계층적 관계를 명시적으로 모델링함으로써 표준 CNN에 비해 일반화 능력과 샘플 복잡도를 어떻게 향상시키는가?
• RQ2 캡슐 네트워크와 트랜스포머의 자기 어텐션 메커니즘 사이의 개념적 및 기술적 유사성은 무엇이며, 특히 일치 필터링과 합의 기반 라우팅 측면에서 어떻게 유사한가?
• RQ3 현재 하드웨어 및 프레임워크 제약 조건을 감안할 때, 캡슐 네트워크는 실세계 구현을 위해 얼마나 확장되고 최적화될 수 있는가?
• RQ4 카테고리 슬롯 외의 더 유연한 슬롯 표현을 지원하기 위해 캡슐 네트워크는 어떻게 확장될 수 있으며, 이러한 확장이 가져올 수 있는 이점은 무엇인가?
• RQ5 캡슐 네트워크는 기하학적 딥 러닝에서 어떤 역할을 할 수 있으며, 특히 근사 등변성과 2D/3D 작업에서의 성능 측면에서 어떤 기여를 할 수 있는가?

주요 결과

• 캡슐 네트워크는 부분과 전체 간의 계층적 관계를 명시적으로 모델링함으로써 더 해석 가능하고 강건한 객체 중심 표현을 제공함으로써 CNN의 유망한 대안이 될 수 있다.
• 비슷한 CNN에 비해 파라미터 수와 FLOPs가 적게 필요한데도 불구하고, 표준 딥 러닝 프레임워크인 PyTorch와 TensorFlow에서 현재는 런타임 성능과 메모리 효율성이 열악한 편이다.
• 캡슐 라우팅과 트랜스포머의 어텐션 메커니즘 사이에는 강력한 개념적 유사성이 존재하며, 특히 의미 있는 공간적 또는 의미적 관계를 탐지하기 위해 고차원 벡터 합의를 사용한다는 점에서 공통점을 가진다.
• 캡슐 네트워크는 비디오 객체 세그멘테이션, 동작 인식, 뇌 종양 분류, 베어링 고장 진단 등 다양한 분야에서 성공을 거두었으며, 특히 샘플 효율적인 설정에서 기준 모델보다 뛰어난 성능을 보였다.
• 캡슐 네트워크 배포의 주요 장애물은 라우팅 및 캡슐 투표 절차의 계산 비용으로, 최근 최적화 기법이 적용된 후에도 여전히 비효율적이다.
• 향후 연구는 ViT 스타일의 패치 기반 캡슐 모델과 같은 더 효율적인 아키텍처 개발에 초점을 맞추어야 하며, 자기지도 학습 기반 운동 신호와 3D 시나리오 이해를 통한 기본 캡슐 학습 향상도 고려되어야 한다.