[논문 리뷰] Capsule Network is Not More Robust than Convolutional Network

Jindong Gu, Volker Tresp외 1명|arXiv (Cornell University)|2021. 03. 29.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 4

한 줄 요약

이 논문은 캡슐 네트워크(CapsNets)가 컨볼루션 신경망(ConvNets)보다 더 강건하다는 널리 퍼진 믿음을 도전한다. 체계적인 아블레이션 연구를 통해, CapsNets의 동적 라우팅과 변환 행렬이 애핀 변환과 겹치는 숫자에 대한 강건성에 실제로 악영향을 미친다는 것을 밝혀내며, 반면 스quashing와 클래스 조건부 재구성 같은 구성 요소들은 의미적 밀도를 향상시킨다. 저자들은 이러한 유익한 구성 요소들을 표준 ConvNets에 통합하여, 평가된 모든 과제에서 CapsNets보다 뛰어난 강건성을 달성한다.

ABSTRACT

The Capsule Network is widely believed to be more robust than Convolutional Networks. However, there are no comprehensive comparisons between these two networks, and it is also unknown which components in the CapsNet affect its robustness. In this paper, we first carefully examine the special designs in CapsNet that differ from that of a ConvNet commonly used for image classification. The examination reveals five major new/different components in CapsNet: a transformation process, a dynamic routing layer, a squashing function, a marginal loss other than cross-entropy loss, and an additional class-conditional reconstruction loss for regularization. Along with these major differences, we conduct comprehensive ablation studies on three kinds of robustness, including affine transformation, overlapping digits, and semantic representation. The study reveals that some designs, which are thought critical to CapsNet, actually can harm its robustness, i.e., the dynamic routing layer and the transformation process, while others are beneficial for the robustness. Based on these findings, we propose enhanced ConvNets simply by introducing the essential components behind the CapsNet's success. The proposed simple ConvNets can achieve better robustness than the CapsNet.

연구 동기 및 목표

• 캡슐 네트워크가 컨볼루션 신경망보다 본질적으로 더 강건하다는 일반적인 가정을 도전하기 위해.
• CapsNet 내에서 실제로 강건성에 기여하는 구성 요소와 성능을 떨어뜨리는 구성 요소를 식별하기 위해.
• 세 가지 강건성 지표인 애핀 변환, 겹치는 숫자, 의미적 표현에 대한 각 CapsNet 전용 구성 요소—동적 라우팅, 변환 행렬, 스쿼싱, 마진 손실, 재구성—의 영향을 평가하기 위해.
• 기본적인 CapsNet보다 강건성이 뛰어난 향상된 구성 요소를 갖춘 단순한 ConvNet이 모든 강건성 지표에서 성능을 뛰어넘을 수 있음을 보여주기 위해.

제안 방법

• 애핀 변환, 겹치는 숫자 인식, 의미적 표현의 밀도 등 세 가지 강건성 벤치마크를 사용하여 CapsNet 구성 요소에 대한 아블레이션 연구를 수행한다.
• 공간 불변성과 일반화 능력을 향상시키기 위해 글로벌 평균 풀링을 적용한 수정된 ConvNet 베이스라인을 구현한다.
• CapsNet의 핵심 구성 요소들을 개별적으로 도입하고 평가한다: 동적 라우팅, 변환 행렬, 스쿼싱 함수, 마진 손실, 클래스 조건부 재구성.
• 표현 벡터의 정규화된 분산과 균일한 사전 분포 간의 KL 발산을 기반으로 한 밀도 점수를 사용하여 의미적 표현 품질을 정량화한다.
• 재구성된 이미지에서 의미적 민감도를 분석하기 위해 캡슐 및 특징 활성화에 편향을 적용한다.
• 제어된 설정 하에서 MNIST 및 FMNIST 데이터셋에서 모델을 훈련하고 비교하여 구성 요소의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 CapsNets의 동적 라우팅 메커니즘이 실제로 애핀 변환에 대한 강건성을 향상시키는가, 아니면 성능을 떨어뜨리는가?
• RQ2 CapsNets에서 비공유 변환 행렬과 비슷한 비용 구조가 겹치는 숫자를 인식하는 데 얼마나 기여하는가?
• RQ3 스쿼싱 함수와 클래스 조건부 재구성 손실이 표준 ConvNets의 의미적 표현 밀도를 향상시킬 수 있는가?
• RQ4 CapsNets의 강건성은 그 아키텍처 때문인가, 아니면 이전 비교에서 사용된 약한 ConvNet 베이스라인 때문인가?
• RQ5 기본적인 CapsNet보다 강건성이 뛰어난 향상된 구성 요소를 갖춘 단순한 ConvNet이 모든 강건성 지표에서 성능을 뛰어넘을 수 있는가?

주요 결과

• 이전 CapsNet 비교에서 사용된 표준 ConvNet 베이스라인은 글로벌 평균 풀링을 포함하지 않아 공간 불변성과 일반화 능력이 약화되어 공정한 비교를 어렵게 한다.
• CapsNets의 동적 라우팅은 애핀 변환에 대한 강건성을 해치며, 일반적으로 이와 같은 라우팅 메커니즘이 불변성을 향상시킨다는 믿음과 정면으로 배치된다.
• CapsNets가 겹치는 숫자를 인식하는 능력은 주로 비공유 변환 행렬이 제공하는 모델링 용량 덕분이며, 라우팅이나 벡터 표현 덕분이 아니다.
• 스쿼싱 함수와 클래스 조건부 재구성 손실은 의미적 표현의 밀도를 크게 향상시키며, 이러한 구성 요소들은 효과적으로 ConvNets로 이식할 수 있다.
• 스쿼싱과 클래스 조건부 재구성 기능을 통합한 향상된 ConvNets는 애핀 변환, 겹치는 숫자, 밀도 등 세 가지 강건성 벤치마크에서 CapsNet을 모두 능가한다.
• 재구성과 스쿼싱 기능을 갖춘 ConvNet-CR-SF의 밀도 점수는 trans-Y에 대해 0.3192에 달하며, CapsNet의 0.0464보다 뚜렷이 높아 의미적 표현의 우수성을 입증한다.