[논문 리뷰] Reducing the dilution: An analysis of the information sensitiveness of capsule network with a practical improvement method

Zonglin Yang, Xinggang Wang|arXiv (Cornell University)|2019. 03. 25.

Advanced Malware Detection Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 복잡한 데이터셋에서 성능이 열등한 이유로, 캡슐 네트워크의 정보 민감성과 주요 캡슐 레이어에서의 비차별적 캡슐의 과도한 활성화 사이의 갈등을 핵심 원인으로 규명한다. 이를 바탕으로 간단하고 효율적인 정규화 기법 두 가지—CI-squash와 파wr-활성화(PA) 스quashing—을 제안하며, 이는 저에너지 캡슐을 억제하고 차별적 특징 학습을 강화하여 CIFAR-10을 포함한 여러 데이터셋에서 일관된 성능 향상을 이룬다. 최대 14.31%의 오차율을 달성하였고, 중요한 파rameter 수를 감소시킬 수 있었다.

ABSTRACT

Capsule network has shown various advantages over convolutional neural network (CNN). It keeps more precise spatial information than CNN and uses equivariance instead of invariance during inference and highly potential to be a new effective tool for visual tasks. However, the current capsule networks have incompatible performance with CNN when facing datasets with background and complex target objects and are lacking in universal and efficient regularization method. We analyze a main reason of the incompatible performance as the conflict between information sensitiveness of capsule network and unreasonably higher activation value distribution of capsules in primary capsule layer. Correspondingly, we propose a practical improvement method by restraining the activation value of capsules in primary capsule layer to suppress non-informative capsules and highlight discriminative capsules. In the experiments, the method has achieved better performances on various mainstream datasets. In addition, the proposed improvement methods can be seen as a suitable, simple and efficient regularization method that can be generally used in capsule network.

연구 동기 및 목표

• 캡슐 네트워크가 CNN보다 복잡한 데이터셋(예: CIFAR-10)에서 성능이 열등한 이유를 분석한다.
• 이러한 성능 열등성의 근본 원인을 캡슐 네트워크의 정보 민감성과 주요 캡슐 레이어에서의 비합리적인 높은 활성화 값 분포 간의 갈등으로 규명한다.
• 비정보성 캡슐을 억제함으로써 차별적 특징 학습을 향상시키는 실용적이고 단순하며 효율적인 정규화 방법을 제안한다.
• 제안된 방법이 기존 정규화 기법(예: 드롭아웃, 웨이트 디케이)보다 캡슐 네트워크에서 더 우수한 성능을 내는지 입증한다.

제안 방법

• 고정된 기준값(bar 값)을 기반으로 낮은 활성화 에너지를 가진 캡슐을 억제하기 위해 고정된 기준값을 적용하는 수정된 스quash 함수인 CI-squash를 도입한다.
• 캡슐 활성화에 거듭제곱 함수를 적용하여 고에너지, 차별적 캡슐을 강조하고 저에너지, 비정보성 캡슐을 억제하는 파wr-활성화(PA) 스quashing를 제안한다.
• 루팅 이전에 활성화 분포를 제어하기 위해 주요 캡슐 레이어에 이러한 방법을 적용하여 관련된 공간적 특징만 전파되도록 보장한다.
• CI-squash에서는 고정된 기준값(예: 6.5)을 사용하고, PA에서는 성능 최적화를 위해 거듭제곱 파라미터(n)를 튜닝한다.
• 다양한 수의 주요 캡슐 레이어(8개 및 64개)를 사용하여 성능의 강건성과 효율성을 테스트한다.
• CIFAR-10을 포함한 여러 데이터셋에서 표준 정규화 기법(예: 드롭아웃, 웨이트 디케이)과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크가 공간적 및 에퀴브ariant 표현 측면에서 이론적으로 유리한데도 불구하고, CIFAR-10과 같은 복잡한 데이터셋에서 성능이 열등한 이유는 무엇인가?
• RQ2 주요 캡슐 레이어에서의 활성화 값 분포가 네트워크가 관련 특징와 배경 특징를 구분하는 능력에 미치는 영향은 무엇인가?
• RQ3 스quash 함수에 대한 단순한 비계산적 수정이 모델 복잡도 증가 없이 캡슐 네트워크 성능 향상에 기여할 수 있는가?
• RQ4 CI-squash와 PA 스quashing는 캡슐 네트워크에 효과적인 정규화 방법인가? 특히 기존 기법(예: 드롭아웃, 웨이트 디케이)과 비교했을 때 어떻게 성능을 냈는가?
• RQ5 제안된 방법은 성능 유지를 또는 향상시키면서도 상당한 파라미터 감소를 가능하게 하는가?

주요 결과

• 제안된 CI-squash와 PA 스quashing 방법은 CIFAR-10에서 오차율을 14.31%로 감소시켜 원본 캡슐 네트워크(16.15%)와 표준 정규화 기법을 뛰어넘는 성능을 달성했다.
• n=6인 PA 스quashing가 최고의 성능을 기록하여 비차별적 캡슐을 효과적으로 억제하면서도 정보성 특징를 유지하는 최적의 균형을 이룩했다.
• 다양한 주요 캡슐 레이어 수에 대해 강건한 성능을 보였으며, PA 스quashing는 8개 레이어만으로도 64개 레이어 네트워크와 유사한 성능을 달성했다.
• 기존 정규화 기법인 드롭아웃과 웨이트 디케이가 캡슐 네트워크 성능을 떨어뜨리는 것으로 나타나, 이는 해당 아키텍처에 부적합하다는 것을 시사한다.
• CI-squash와 PA 스quashing는 최소한의 하이퍼파라미터 튜닝으로도 효과적이며, 이는 캡슐 네트워크에 실용적이고 일반화 가능한 정규화 도구임을 시사한다.
• 이 방법들은 64개의 주요 캡슐을 단지 8개로 교체함으로써 잠재적으로 파라미터와 연산량을 약 7/8 감소시킬 수 있었으며, 성능 손실 없이도 가능했다.