[논문 리뷰] Group Equivariant Capsule Networks

Jan Eric Lenssen, Matthias Fey외 1명|arXiv (Cornell University)|2018. 06. 13.

Topic Modeling참고 문헌 15인용 수 71

한 줄 요약

본 논문은 그룹 등변성 캡슐 네트워크를 제시하여 포즈 벡터의 등변성과 활성화의 불변성을 그룹 원소에 대한 라우팅으로 보장하고, 캡슐 네트워크와 그룹 컨볼루션을 연결하여 희소하고 포즈 가이드된 등변 CNNs와 해석 가능한 표현을 가능하게 한다.

ABSTRACT

We present group equivariant capsule networks, a framework to introduce guaranteed equivariance and invariance properties to the capsule network idea. Our work can be divided into two contributions. First, we present a generic routing by agreement algorithm defined on elements of a group and prove that equivariance of output pose vectors, as well as invariance of output activations, hold under certain conditions. Second, we connect the resulting equivariant capsule networks with work from the field of group convolutional networks. Through this connection, we provide intuitions of how both methods relate and are able to combine the strengths of both approaches in one deep neural network architecture. The resulting framework allows sparse evaluation of the group convolution operator, provides control over specific equivariance and invariance properties, and can use routing by agreement instead of pooling operations. In addition, it is able to provide interpretable and equivariant representation vectors as output capsules, which disentangle evidence of object existence from its pose.

연구 동기 및 목표

• 캡슐 네트워크에서 보장된 등변성과 해석 가능한 표현의 필요성을 동기화한다.
• 그룹 원소로서의 포즈를 가진 그룹 캡슐 계층을 정의하고 그룹 G 하에서 등변성/불변성 특성을 증명한다.
• 현지 수용영역에 대해 풀링할 때 등변성을 보존하는 공간적 집계 방법을 개발한다.
• 희소하고 포즈 정보에 기반한 CNN을 만들기 위해 그룹 캡슐과 그룹 컨볼루션을 연결한다.
• 속성 및 표현 해석 가능성을 검증하기 위해 MNIST 파생 데이터셋에서 접근 방식을 시연한다.

제안 방법

• L_p를 포즈 계산으로, L_a를 활성화 계산으로 그룹 캡슐에 대해 정의한다.

실험 결과

연구 질문

• RQ1 라인업 합의에 의한 라우팅이 그룹 원소의 포즈 등변성과 활성화 불변성을 보장하도록(formulated) 구성될 수 있는가?
• RQ2 그룹 캡슐 네트워크에서 등변성을 깨지 않고 지역 공간 집계를 수행하려면 어떻게 해야 하는가?
• RQ3 그룹 캡슐을 그룹 컨볼루션과 통합하여 희소한 포즈 정보 기반의 해석 가능한 표현을 갖는 CNN을 얻을 수 있는가?
• RQ4 제안된 방법이 MNIST와 같은 표준 데이터세트에서 그룹 변환 하의 등변성/불변성을 검증할 수 있는가?

주요 결과

• 그룹 캡슐 계층은 등변적 평균 및 델타 보존 거리 측정을 가정할 때 포즈 벡터가 왼쪽 등변이고, 활성화가 그룹 변환에 따라 불변함을 보인다.
• 포즈 정렬 커널 집계는 공간적 집계의 비등변 문제를 설명하고 변환된 입력에 대해 일관된 투표를 가능하게 한다.
• 그룹 컨볼루션과의 조합은 희소한 평가를 가능하게 하고 활성화의 불변성을 포즈의 등변성과 함께 유지한다.
• 회전 MNIST에 대한 개념 증명 실험은 활성화의 정확한 불변성과 포즈의 등변성을 매우 작은 수치 오차로 보이고, 보이지 않는 회전에 대한 일반화도 합리적임을 보여준다.
• 포즈 가이드 CNN과의 통합 아키텍처는 회전된 MNIST 및 AFFNIST에서 경쟁력 있는 정확도를 달성하면서도 일부 기준선보다 훨씬 적은 수의 매개변수를 사용한다.
• 표현은 해석 가능한 포즈 벡터를 포함하며 포즈 변환을 통해 이미지를 재구성하거나 조작할 가능성을 시사한다.