[논문 리뷰] Learning Compositional Structures for Deep Learning: Why Routing-by-agreement is Necessary

Sairaam Venkatraman, Ankit Anand외 2명|arXiv (Cornell University)|2020. 10. 04.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 논문은 캡슐 네트워크에서 라우팅 가중치의 엔트로피 정규화를 제안하여 조합적 구조를 강제하고, 낮은 라우팅 엔트로피가 데이터 내 조합적 변화 탐지에 유리함을 입증한다. 이는 분류 정확도가 정규화되지 않은 모델들과 유사한 수준을 유지하면서도 성능을 확보한다. 이 방법은 파싱 트리 구조를 통해 조합성을 형식화하고, 라우팅에 의한 합의가 이러한 표현 학습에 필수적임을 보여준다.

ABSTRACT

A formal description of the compositionality of neural networks is associated directly with the formal grammar-structure of the objects it seeks to represent. This formal grammar-structure specifies the kind of components that make up an object, and also the configurations they are allowed to be in. In other words, objects can be described as a parse-tree of its components -- a structure that can be seen as a candidate for building connection-patterns among neurons in neural networks. We present a formal grammar description of convolutional neural networks and capsule networks that shows how capsule networks can enforce such parse-tree structures, while CNNs do not. Specifically, we show that the entropy of routing coefficients in the dynamic routing algorithm controls this ability. Thus, we introduce the entropy of routing weights as a loss function for better compositionality among capsules. We show by experiments, on data with a compositional structure, that the use of this loss enables capsule networks to better detect changes in compositionality. Our experiments show that as the entropy of the routing weights increases, the ability to detect changes in compositionality reduces. We see that, without routing, capsule networks perform similar to convolutional neural networks in that both these models perform badly at detecting changes in compositionality. Our results indicate that routing is an important part of capsule networks -- effectively answering recent work that has questioned its necessity. We also, by experiments on SmallNORB, CIFAR-10, and FashionMNIST, show that this loss keeps the accuracy of capsule network models comparable to models that do not use it .

연구 동기 및 목표

• 공간 문법 규칙에서 유도된 문법 기반 프레임워크를 사용해 신경망의 조합적 구조를 파싱 트리 형태로 형식화한다.
• 합성곱 신경망(CNNs)이 유도 규칙의 중요도를 부여할 수 있는 메커니즘이 없음에도 불구하고, 캡슐 네트워크는 이를 가능하게 한다는 점을 규명한다.
• 캡슐 네트워크에서 라우팅-에이그리먼트가 라우팅 가중치의 엔트로피 정규화를 통해 향상될 수 있는지 탐구한다.
• 엔트로피 정규화가 분류 성능 저하 없이 조합적 일반화 능력을 향상시키는지 평가한다.
• 낮은 라우팅 엔트로피를 가진 캡슐 네트워크가 CNN이나 정규화되지 않은 캡슐 네트워크와 달리 조합적 구조의 변화를 탐지할 수 있음을 입증한다.

제안 방법

• 공간 문법 규칙에서 유도된 문법 기반 프레임워크를 사용해 CNN과 캡슐 네트워크의 조합적 구조를 형식화하며, 객체는 허용 가능한 구성이 있는 부분의 파싱 트리로 표현된다.
• 동적 라우팅에서 라우팅 가중치를 예측 간의 공감을 나타내는 지표로 정의하며, 낮은 엔트로피는 단일 깊은 캡슐로의 명확하고 유일한 라우팅을 의미한다.
• 라우팅 가중치의 높은 엔트로피를 방지하기 위해 엔트로피 손실 함수를 도입하며, 이는 희소하고 명확한 라우팅 결정을 장려한다.
• 하이퍼파rameter를 스케줄링 또는 고정 값으로 설정하여 엔트로피 손실을 표준 분류 손실과加산한다.
• SmallNORB, CIFAR-10, FashionMNIST에서 엔트로피 정규화 유무에 따라 캡슐 네트워크를 훈련시키며 정확도와 라우팅 엔트로피를 측정한다.
• 조합적 구조가 변경된 제어된 데이터(예: 얼굴 부분 재배열)를 사용해 조합적 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 형식적 문법 기반 기술이 CNN과 캡슐 네트워크의 조합적 능력을 구분할 수 있는가?
• RQ2 캡슐 네트워크에서 라우팅 가중치의 엔트로피가 조합적 구조 변화 탐지 능력과 상관이 있는가?
• RQ3 라우팅 가중치의 엔트로피 정규화가 분류 정확도 저하 없이 캡슐 네트워크의 조합적 일반화 능력을 향상시킬 수 있는가?
• RQ4 엔트로피 정규화된 캡슐 네트워크의 성능이 정규화되지 않은 캡슐 네트워크 및 CNN보다 조합적 구조 탐지 작업에서 어떻게 비교되는가?
• RQ5 캡슐 네트워크에서 조합적 표현을 달성하기 위해 라우팅-에이그리먼트가 필수적인가?

주요 결과

• 엔트로피 정규화된 라우팅 가중치를 가진 캡슐 네트워크는 정규화되지 않은 캡슐 네트워크나 CNN보다 조합적 구조 변화를 유의미하게 더 잘 탐지한다.
• 라우팅 가중치의 엔트로피는 조합적 일반화 능력과 반비례한다: 엔트로피가 높을수록 구조적 변화 탐지 능력이 떨어진다.
• 엔트로피 정규화된 캡슐 네트워크는 SmallNORB, CIFAR-10, FashionMNIST에서 정규화되지 않은 모델들과 유사한 테스트 세트 정확도를 달성하며, 모든 데이터셋에서 평균 정확도가 1-2% 이내로 수렴한다.
• FashionMNIST에서 0.4caps1 모델은 평균 엔트로피 손실 0.0003을 기록하며 90.33%의 정확도를 달성했고, 정규화되지 않은 unregcaps1은 엔트로피 손실 1.05를 기록하며 92.73%의 정확도를 기록했다.
• Peer 등(2018)의 라우팅 알고리즘을 사용한 모델가 정규화된 모델과 유사한 성능을 보였으며, 이는 라우팅 메커니즘 설계가 조합적 학습에 있어 핵심임을 시사한다.
• 정규화된 모델의 훈련 런 간 정확도 변동성은 모든 레이어에서 엔트로피 손실 최적화가 여전히 도전 과제임을 나타내지만, 핵심 목표인 조합적 성능 향상은 달성되었다.