[논문 리뷰] Improving the Robustness of Capsule Networks to Image Affine Transformations

Jindong Gu, Volker Tresp|arXiv (Cornell University)|2019. 11. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 동적 라우팅을 간단한 평균화로 대체하고 주요 캡슐 간에 동일한 변환 함수를 적용하여 애핀 변환에 대한 강건성을 향상시킨 수정된 캡슐 네트워크 아키텍처인 Aff-CapsNets를 제안한다. AffNIST 벤치마크에서 Aff-CapsNets는 라우팅 메커니즘을 사용하지 않음에도 불구하고 93.21%의 정확도를 기록하여 이전 최고 성능 기록인 CapsNet(79%)를 크게 뛰어넘었다. 이는 라우팅이 애핀 강건성에 필수적이지 않음을 시사한다.

ABSTRACT

Convolutional neural networks (CNNs) achieve translational invariance by using pooling operations. However, the operations do not preserve the spatial relationships in the learned representations. Hence, CNNs cannot extrapolate to various geometric transformations of inputs. Recently, Capsule Networks (CapsNets) have been proposed to tackle this problem. In CapsNets, each entity is represented by a vector and routed to high-level entity representations by a dynamic routing algorithm. CapsNets have been shown to be more robust than CNNs to affine transformations of inputs. However, there is still a huge gap between their performance on transformed inputs compared to untransformed versions. In this work, we first revisit the routing procedure by (un)rolling its forward and backward passes. Our investigation reveals that the routing procedure contributes neither to the generalization ability nor to the affine robustness of the CapsNets. Furthermore, we explore the limitations of capsule transformations and propose affine CapsNets (Aff-CapsNets), which are more robust to affine transformations. On our benchmark task, where models are trained on the MNIST dataset and tested on the AffNIST dataset, our Aff-CapsNets improve the benchmark performance by a large margin (from 79% to 93.21%), without using any routing mechanism.

연구 동기 및 목표

• 캡슐 네트워크에서 동적 라우팅이 애핀 강건성 또는 일반화 능력에 기여하는지 여부를 조사하는 것.
• 기존 캡슐 네트워크에서 변환된 입력에서 성능을 저해하는 아키텍처적 한계를 규명하는 것.
• 라우팅에 의존하지 않고도 애핀 변환 하에서 높은 성능을 유지할 수 있는 더 강건한 캡슐 네트워크 아키텍처를 설계하는 것.
• 보다 단순한 아키텍처가 기하학적 강건성에서 복잡한 라우팅 메커니즘을 능가할 수 있음을 보여주는 것.

제안 방법

• 저자들은 동적 라우팅 절차의 순방향 및 역방향 전파를 분해하여 그 성능 기여도를 분석한다.
• 그들은 동적 라우팅을 단순한 평균화 연산으로 대체하는 Aff-CapsNets를 제안한다.
• Aff-CapsNets의 모든 주요 캡슐은 동일한 변환 함수를 적용하여 캡슐 간 일관된 특징 학습을 보장한다.
• 주요 캡슐 간에 공유된 가중치 행렬을 사용하여 기하학적 변환에 대한 불변성을 강화한다.
• 이 방법은 표준 벤치마크인 MNIST에서 학습하고 AffNIST에서 테스트하는 방식으로 평가된다.
• 라우팅 대비 비라우팅, 그리고 다양한 아키텍처 선택 사항이 애핀 강건성에 미치는 영향을 광범위하게 분석한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크에서 동적 라우팅 절차가 일반화 능력이나 애핀 강건성에 기여하는가?
• RQ2 캡슐 네트워크의 어떤 아키텍처 구성 요소가 애핀 변환 하에서 성능 저하를 초래하는가?
• RQ3 보다 단순한 라우팅 없는 아키텍처가 변환된 데이터에서 라우팅 기반 캡슐 네트워크보다 더 높은 강건성을 달성할 수 있는가?
• RQ4 동적 라우팅은 뷰포인트 불변성이나 적대적 강건성과 같은 캡슐 네트워크의 핵심 이점 달성에 필수적인가?

주요 결과

• 수치적 및 경험적 분석을 통해 동적 라우팅 절차가 캡슐 네트워크의 일반화 능력이나 애핀 강건성에 기여하지 않는 것으로 확인되었다.
• 라우팅을 제거하고 단순한 평균화로 대체함으로써 AffNIST에서의 성능이 79%에서 93.21%로 향상되었다.
• Aff-CapsNets는 어떤 라우팅 메커니즘도 사용하지 않음에도 불구하고 AffNIST 벤치마크에서 최고 성능을 기록했다.
• 모든 주요 캡슐에 동일한 변환 함수를 적용하는 것이 애핀 변환에 대한 강건성을 크게 향상시켰다.
• 제안된 아키텍처는 이전의 CapsNet 변종보다 더 적은 파라미터를 사용하면서도 더 높은 정확도를 달성했다.
• 결과적으로, 라우팅이 애핀 강건성에 필수적인 것은 아니며, 이는 라우팅이 캡슐 네트워크 우월성의 핵심 요소라는 가정을 도전하는 것이다.