[논문 리뷰] An Algorithm for Routing Capsules in All Domains

Franz A. Heinsen|arXiv (Cornell University)|2019. 11. 02.

Topic Modeling참고 문헌 16인용 수 5

한 줄 요약

이 논문은 비전 및 자연어 처리 작업에서 최고 성능을 내는 데에 최소한의 하이퍼파라미터 튜닝으로도 유의미한 성능 향상을 이룰 수 있는, 일반 목적의 라우팅 알고리즘을 제안한다. 이 알고리즘은 EM 프레임워크 내에서 입력 캡슐 사용의 넷 이득과 비용을 계산하기 위해 새로운 D-스텝을 도입한다. 이 방법은 소형NORB에서 99.1%의 정확도를 기록하며 기존 캡슐 모델보다 파rameter 수와 학습 에포크 수가 적고, SST-2/R에서 고정된 BERT 임베딩을 사용할 때 95.6%의 정확도를 달성하여 다양한 도메인에 걸쳐 보편적인 적용 가능성을 입증한다.

ABSTRACT

Building on recent work on capsule networks, we propose a new, general-purpose form of "routing by agreement" that activates output capsules in a layer as a function of their net benefit to use and net cost to ignore input capsules from earlier layers. To illustrate the usefulness of our routing algorithm, we present two capsule networks that apply it in different domains: vision and language. The first network achieves new state-of-the-art accuracy of 99.1% on the smallNORB visual recognition task with fewer parameters and an order of magnitude less training than previous capsule models, and we find evidence that it learns to perform a form of "reverse graphics." The second network achieves new state-of-the-art accuracies on the root sentences of the Stanford Sentiment Treebank: 58.5% on fine-grained and 95.6% on binary labels with a single-task model that routes frozen embeddings from a pretrained transformer as capsules. In both domains, we train with the same regime. Code is available at https://github.com/glassroom/heinsen_routing along with replication instructions.

연구 동기 및 목표

• 비전 및 자연어 처리와 같은 다양한 도메인에서 작동하는 일반 목적의 캡슐 네트워크를 위한 라우팅 알고리즘을 개발하는 것.
• EM 라우팅 루프 내에서 새로운 D-스텝을 도입하여 입력 캡슐 사용의 이득과 무시할 경우의 비용을 모두 모델링함으로써 캡슐 네트워크의 성능을 향상시키는 것.
• 시퀀스 모델링에 필수적인 변수 크기의 입력 처리를 가능하게 하되, 낮은 파라미터 수와 높은 정확도를 유지하는 것.
• 동일한 라우팅 알고리즘, 학습 제약 조건, 모델 아키텍처가 도메인 특화 튜닝 없이도 여러 도메인에서 최고 성능을 달성할 수 있음을 입증하는 것.
• 엔드 투 엔드 학습을 통해 '역 그래픽스'(비전에서의 자세 재구성) 및 언어에서의 트리 구조와 같은 구조적 표현을 학습할 잠재력을 탐색하는 것.

제안 방법

• 출력 캡슐이 사용하는 입력 캡슐의 투표 확률을 반복적으로 최대화하는 기대-최대화(EM) 프레임워크를 사용한다.
• E-스텝과 M-스텝 사이에 새로운 D-스텝을 도입하여, 각 출력 캡슐이 각 입력 캡슐을 사용하거나 무시할 비율을 넷 이득(사용)에서 넷 비용(무시)을 뺀 값에 기반해 계산한다.
• 출력 캡슐 활성화는 넷 이득과 넷 비용의 차이에 로지스틱 함수를 적용하여 계산되며, 이는 안정적이고 미분 가능한 최적화를 가능하게 한다.
• 각 임베딩을 맥락에 따라 다른 출력을 가지는 캡슐으로 간주함으로써, 문맥 기반 토큰 임베딩의 시퀀스와 같은 변수 크기의 입력을 수용할 수 있다.
• 변수 크기의 출력을 지원하며, 로지스틱 함수를 통과시키는 전 활성화 점수를 사용함으로써 수치적 안정성과 하류 목표 함수에 대한 유연성을 향상시킨다.
• 라우팅 메커니즘은 출력 캡슐이 입력 캡슐의 투표를 놓고 '경쟁'하는 주의 메커니즘으로 작동하며, 각 출력 캡슐은 일치도와 비용-이득 트레이드오프에 기반해 서로 다른 입력 하위집합에 주목한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크를 위한 통합된 라우팅 알고리즘이 동일한 학습 제약 조건 하에서 비전 및 자연어 처리 작업에서 최고 성능을 달성할 수 있는가?
• RQ2 입력 캡슐 사용의 이득과 무시할 경우의 비용을 모두 모델링함으로써 캡슐 네트워크의 라우팅 성능와 일반화 능력은 어떻게 향상되는가?
• RQ3 엔드 투 엔드 학습을 통해 '암시적 지도 없이' 구조적 표현—예를 들어 자세 또는 문법 트리 구조—를 얼마나 잘 학습할 수 있는가?
• RQ4 제안된 라우팅 알고리즘이 시퀀스 임베딩과 같은 변수 크기의 입력을 효과적으로 처리하면서도 낮은 파라미터 수와 높은 정확도를 유지할 수 있는가?
• RQ5 라우팅 메커니즘이 '역 그래픽스'(입력과 레이블에서 자세를 재구성하는 것)를 전용 아키텍처나 손실 함수 설계 없이도 효과적으로 학습할 수 있는가?

주요 결과

• 제안된 라우팅 알고리즘을 적용한 캡슐 네트워크는 smallNORB 시각 인식 작업에서 테스트 정확도 99.1%를 기록하였으며, 기존 최고 성능 모델보다 272,000개의 파라미터와 50개의 에포크만으로도 뛰어난 성능을 달성하였다.
• smallNORB 모델은 이전 캡슐 모델보다 더 잘 일반화되며, 크롭 평균과 같은 데이터 증강 기법 없이도 전체 해상도 96×96 스테레오 이미지를 사용한다.
• 비디오 시각화 플롯을 통해 이 모델이 이 task에 대해 명시적인 최적화 없이도 '역 그래픽스'—즉, 픽셀 데이터와 레이블에서 자세를 재구성하는 능력—을 학습하고 있음을 입증한다.
• SST-2/R 감성 분류 작업에서 단일 태스크 아키텍처로 95.6%의 정확도를 달성하여, 단일 모델 성능 기준으로 새로운 최고 성능을 수립하였다.
• SST-5/R에서는 단지 140,000개의 파라미터와 고정된 GPT-2-large 임베딩을 캡슐로 사용하는 라우팅을 통해 58.5%의 정확도를 기록하였으며, 이 역시 새로운 최고 성능이다.
• 동일한 라우팅 알고리즘, 학습 제약 조건, 모델 아키텍처가 두 도메인 모두에서 최고 성능을 달성함으로써, 이 알고리즘이 보편적이고 조합 가능한 성질을 지닌다는 것을 입증하였다.