[논문 리뷰] On Learning and Learned Representation with Dynamic Routing in Capsule Networks.

Ancheng Lin, Jun Li외 1명|arXiv (Cornell University)|2018. 10. 08.

Machine Learning in Healthcare참고 문헌 2인용 수 5

한 줄 요약

이 논문은 동적 라우팅이 모델 적합도, 표현 학습 및 일반화에 미치는 영향을 이해하기 위해 캡슐 네트워크에서의 동적 라우팅을 조사한다. 이는 라우팅이 정보의 확실성을 제어하며, CNN보다 더 의미 있는 2D 다양체 임베딩을 가능하게 하고, 데이터 분포 전반에 걸쳐 더 덜 결합되고 더 적응형인 캡슐 표현을 생성함을 보여준다.

ABSTRACT

Capsule Networks (CapsNet) are recently proposed multi-stage computational models specialized for entity representation and discovery in image data. CapsNet employs iterative routing that shapes how the information cascades through different levels of interpretations. In this work, we investigate i) how the routing affects the CapsNet model fitting, ii) how the representation by capsules helps discover global structures in data distribution and iii) how learned data representation adapts and generalizes to new tasks. Our investigation shows: i) routing operation determines the certainty with which one layer of capsules pass information to the layer above, and the appropriate level of certainty is related to the model fitness, ii) in a designed experiment using data with a known 2D structure, capsule representations allow more meaningful 2D manifold embedding than neurons in a standard CNN do and iii) compared to neurons of standard CNN, capsules of successive layers are less coupled and more adaptive to new data distribution.

연구 동기 및 목표

• 동적 라우팅이 캡슐 네트워크의 모델 적합도와 정보 흐름에 미치는 영향을 분석하기 위해.
• 표준 CNN 뉴런과 비교할 때 캡슐 표현이 전반적인 데이터 구조를 더 잘 포착하는지 평가하기 위해.
• 학습된 캡슐 표현의 새로운 데이터 분포에 대한 적응성과 일반화 능력을 평가하기 위해.
• 전통적인 CNN 뉴런과 비교할 때 캡슐의 결합 강도와 표현 유연성의 정도를 비교하기 위해.

제안 방법

• 하위 수준의 캡슐들 간의 일치를 기반으로 하위 레이어에서 상위 레이어로의 정보 흐름을 조절하기 위해 반복적 동적 라우팅을 사용하였다.
• 캡슐 표현의 다양체 임베딩 품질을 평가하기 위해 알려진 2차원 구조를 가진 합성 데이터셋을 설계하였다.
• 차원 감소 기법을 사용하여 학습된 특징 공간에서 캡슐과 뉴런 표현을 시각화하고 비교하였다.
• 합성 데이터에서 CapsNet을 훈련하고, 분포 이동 상황에서 표현의 안정성과 적응성을 평가하였다.
• 층 간 활성도 의존성을 측정하여 캡슐 층 간의 결합 정도를 정량화하였다.
• 분포가 이동된 데이터에 대해 하류 작업에서 캡슐과 뉴런 표현의 일반화 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 라우팅 메커니즘이 모델의 적합도와 정보 전파의 확실성에 어떤 영향을 미치는가?
• RQ2 캡슐 표현은 표준 CNN 뉴런보다 데이터의 기저 2차원 다양체 구조를 더 효과적으로 복원할 수 있는가?
• RQ3 캡슐 표현은 기존의 CNN 뉴런과 비교해 새로운 데이터 분포에 어떻게 적응하는가?
• RQ4 연속된 캡슐 레이어는 그들의 CNN 대응체와 비교해 어느 정도 덜 결합되어 있고 더 민첩한가?

주요 결과

• 동적 라우팅은 하위 수준의 캡슐이 상위 수준의 캡슐으로 정보를 라우팅할 때의 확실성을 결정하며, 최적의 라우팅 수준은 모델 적합도 향상과 관련이 있다.
• 알려진 2차원 구조를 가진 합성 데이터셋에서 캡슐 표현은 CNN 뉴런보다 더 의미 있는 2차원 다양체 임베딩을 가능하게 하였다.
• 연속된 레이어의 캡슐은 CNN 뉴런보다 결합 정도가 감소하여 더 높은 독립성과 적응성을 나타내었다.
• 표준 CNN 뉴런과 비교해 캡슐 표현은 새로운 데이터 분포로 더 효과적으로 일반화되었으며, 더 높은 내성성과 민첩성을 보였다.