[논문 리뷰] Investigating Capsule Networks with Dynamic Routing for Text Classification

Wei Zhao, Jianbo Ye외 4명|arXiv (Cornell University)|2018. 03. 29.

Text and Document Classification Technologies참고 문헌 22인용 수 101

한 줄 요약

이 논문은 텍스트 분류를 위한 3가지 라우팅 안정화 전략을 갖춘 캡슐 네트워크를 제안하고 여섯 벤치마크에서 경쟁력 있는 결과를 보여주며 단일 레이블에서 다중 레이블로의 전이 작업에서 주목할 만한 이점을 보인다.

ABSTRACT

In this study, we explore capsule networks with dynamic routing for text classification. We propose three strategies to stabilize the dynamic routing process to alleviate the disturbance of some noise capsules which may contain "background" information or have not been successfully trained. A series of experiments are conducted with capsule networks on six text classification benchmarks. Capsule networks achieve state of the art on 4 out of 6 datasets, which shows the effectiveness of capsule networks for text classification. We additionally show that capsule networks exhibit significant improvement when transfer single-label to multi-label text classification over strong baseline methods. To the best of our knowledge, this is the first work that capsule networks have been empirically investigated for text modeling.

연구 동기 및 목표

• 캡슐 네트워크를 사용해 텍스트를 부분-전체 관계로 모델링하고 전통적인 CNN/RNN 표현을 넘어 인스턴스 매개변수를 보존하려는 동기를 제시한다.
• 배경 단어로 인한 노이즈를 줄이기 위한 동적 라우팅의 안정화 전략을 개발한다.
• 사전 학습된 단어 임베딩을 사용하여 여섯 개의 텍스트 분류 벤치마크에서 Capsule-A와 Capsule-B 아키텍처를 평가한다.
• 특히 Reuters 데이터셋에서 단일 레이블에서 다중 레이블 텍스트 분류로의 로버스트성과 전이 능력을 입증한다.

제안 방법

• 로컬 텍스트 특징을 추출하기 위해 n-gram 합성곱 계층을 사용한다.
• 4층 아키텍처(프라이머리, 컨볼루션 캡슐, 완전 연결 캡슐)에서 스칼라 탐지기를 벡터 캡슐로 대체한다.
• 세 가지 안정화 전략: 고아 카테고리, 누수 소프트맥스, 계수 수정으로 동적 라우팅을 구현한다.
• 두 가지 캡슐 아키텍처(Capsule-A와 Capsule-B)를 실험하고 여섯 데이터셋에서 강력한 베이스라인과 비교한다.
• Adam 최적화 및 세 개의 라우팅 반복을 사용하여 사전 학습된 Word2Vec 임베딩으로 학습한다.

실험 결과

연구 질문

• RQ1 동적 라우팅이 있는 캡슐 네트워크가 전통적인 CNN/LSTM 베이스라인보다 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 안정화 전략(고아 카테고리, 누수 소프트맥스, 계수 수정)이 텍스트 데이터의 배경 단어로 인한 노이즈를 줄이는가?
• RQ3 Capsule-B가 다중-그램 입력 구성으로 인해 Capsule-A보다 우수한가?
• RQ4 캡슐 네트워크가 단일 레이블에서 다중 레이블 텍스트 분류 작업으로의 전이가 얼마나 잘 이루어지는가?

주요 결과

• 캡슐 네트워크가 6개 벤치마크 중 4개에서 최고 성능을 달성하며 다양한 텍스트 분류 작업에 걸쳐 경쟁력 있는 성능을 보인다.
• Capsule-B가 Capsule-A를 꾸준히 능가하는 경향이 있으며, 이는 더 풍부한 특징을 포착하기 위해 여러 개의 n-gram 입력(3,4,5)을 사용하기 때문일 가능성이 높다.
• 세 가지 라우팅 안정화 전략이 함께 라우팅의 강건성을 노이즈가 있는 캡슐에 대해 개선한다.
• Reuters 데이터셋의 다중 레이블 전이에서 캡슐 네트워크가 강력한 베이스라인 대비 상당한 개선을 보이며, 특히 학습용 데이터가 단일 레이블일 때 두드러진다.
• 라우팅 반복 수(3)가 더 적은 반복보다 수렴 속도와 최종 손실 감소에 도움이 된다.
• 부분 제거 연구를 통해 어떤 안정화 구성 요소도 제거하면 성능이 저하됨을 확인했다.