[논문 리뷰] A Context-aware Capsule Network for Multi-label Classification

Sameera Ramasinghe, C.D. Athuralya외 1명|arXiv (Cornell University)|2018. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 4

한 줄 요약

이 논문은 훈련 가능한 라우팅 가중치 초기화, 주어진 캡슐 활성화 간의 의미 관계를 모델링하기 위한 조건부 랜덤 필드(CRF), 그리고 데이터셋 전체의 우선순위 체계를 학습하기 위한 코レス키 기반 상관관계 모듈을 도입함으로써 다중 레이블 이미지 분류를 향상시키는 맥락 인식 캡슐 네트워크를 제안한다. 이 모델은 ADE20K에서 56.71 mAP를 기록하며 원본 CapsNet 대비 14.33점 향상된 성능을 달성한다.

ABSTRACT

Recently proposed Capsule Network is a brain inspired architecture that brings a new paradigm to deep learning by modelling input domain variations through vector based representations. Despite being a seminal contribution, CapsNet does not explicitly model structured relationships between the detected entities and among the capsule features for related inputs. Motivated by the working of cortical network in human visual system, we seek to resolve CapsNet limitations by proposing several intuitive modifications to the CapsNet architecture. We introduce, (1) a novel routing weight initialization technique, (2) an improved CapsNet design that exploits semantic relationships between the primary capsule activations using a densely connected Conditional Random Field and (3) a Cholesky transformation based correlation module to learn a general priority scheme. Our proposed design allows CapsNet to scale better to more complex problems, such as the multi-label classification task, where semantically related categories co-exist with various interdependencies. We present theoretical bases for our extensions and demonstrate significant improvements on ADE20K scene dataset.

연구 동기 및 목표

• 캡슐 특징 간의 구조적 관계가 명시적으로 모델링되지 않는 다중 레이블 분류에서 CapsNet의 한계를 해결하기 위해.
• 등가 라우팅 가중치 초기화를 훈련 가능한 백프로파게이션 호환 초기화 방식으로 대체함으로써 훈련 수렴 속도와 성능을 향상시키기 위해.
• 종단 간 훈련 가능한 조건부 랜덤 필드(CRF)를 활용해 인접한 주요 캡슐 활성화 간의 의미적 의존성을 활용하기 위해.
• 개별 샘플 라우팅 대신 주요 캡슐과 결정 캡슐 간의 일반적인 데이터셋 수준의 우선순위 체계를 학습하기 위해 코レス키 변환 기반 상관관계 모듈을 사용하기 위해.
• ADE20K와 같이 풍부한 다중 레이블 애너테이션과 복잡한 시나리오를 포함한 복잡한 실세계 데이터셋에 CapsNet을 확장하기 위해.

제안 방법

• 저수준 특징 맵에 컨볼루션 커널을 적용하여 동적 α 매개변수를 생성함으로써, 초기 라우팅 가중치를 통해 역전파가 가능한 훈련 가능한 라우팅 가중치 초기화 방법을 제안한다.
• 주요 캡슐 예측 간 조건부 의존성을 모델링하는 밀집 연결된 CRF 모듈을 도입하여, 공간적 및 의미적 관계를 활용함으로써 맥락 인식 예측을 장려한다.
• 주요 캡슐 출력 간 상관관계를 학습하여 전체 데이터셋을 대상으로 일반적인 우선순위 체계를 계산하는 코レス키 기반 상관관계 모듈을 설계하여 글로벌 일관성을 향상시킨다.
• 학습된 α 매개변수를 사용하여 주요 캡슐 예측을 조합하는 재귀 함수 fρ를 활용하며, 미분 가능한 연산을 통해 종단 간 훈련을 보장한다.
• 식 (10)을 사용하여 학습된 주의 가중치로 주요 캡슐 예측을 재귀적으로 집계하며, α는 컨볼루션된 특징 맵에서 유도되어 기여도를 적응적으로 가중한다.
• 제안된 아키텍처를 ADE20K에 적용하며, 150개의 객체 클래스에 대해 평균 평균 정밀도(mAP)와 0.5 임계값을 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 훈련 가능한 초기 라우팅 가중치가 다중 레이블 분류에서 CapsNet의 수렴 속도와 최종 성능을 향상시킬 수 있는가?
• RQ2 의사결정 기반 모듈이 주요 캡슐 활성화 간의 의미 관계를 모델링함으로써 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 주요 캡슐과 결정 캡슐 간의 일반적인 우선순위 체계를 학습하는 데이터셋 전체 상관관계 모듈이 복잡한 다중 레이블 작업에서 개별 샘플 라우팅을 능가할 수 있는가?
• RQ4 제안된 구성 요소들인 훈련 가능한 라우팅, CRF, 상관관계 모듈이 ADE20K에서의 전체 mAP 향상에 어떻게 상호 보완적인 역할을 하는가?
• RQ5 CapsNet이 객체 동시 발생 및 공간적 의존성이 높은 대규모 복잡한 다중 레이블 데이터셋인 ADE20K에 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 훈련 가능한 라우팅 가중치 초기화 방식은 수렴 속도를 향상시켜, 등가 초기화 대비 검증 mAP가 9번째 에포크에 안정화됨을 확인하였다.
• 모든 구성 요소(RW + CRF + CORR)를 포함한 전체 모델은 ADE20K에서 mAP 56.71을 기록하며, 원본 CapsNet의 42.38 mAP 대비 14.33점 향상된 성능을 달성하였다.
• CRF 모듈만으로도 원본 CapsNet 대비 10.12점의 mAP 향상을 기록하여, 맥락적 의존성을 포괄하는 데 효과적임을 입증하였다.
• CRF 위에 쌓인 상관관계 모듈은 추가로 4.21점의 mAP 향상을 기록하여, 글로벌 우선순위 구조 학습에서 상호 보완적인 역할을 함을 보여주었다.
• 제거 실험 결과, 각 구성 요소인 훈련 가능한 라우팅, CRF, 상관관계 모듈이 독립적이고 누적적인 향상을 제공함을 확인하였으며, 이는 각각의 기여도와 상호작용 기여도를 검증하였다.