[논문 리뷰] Text Classification using Capsules

Jaeyoung Kim, Sion Jang외 2명|arXiv (Cornell University)|2018. 08. 12.

Text and Document Classification Technologies참고 문헌 29인용 수 65

한 줄 요약

이 논문은 캡슐 네트워크를 텍스트 분류에 적용하는 것을 조사하며, ELU-게이트를 갖춘 정적 라우팅 변형을 도입하고 CNN 기초선에 비해 일곱 가지 벤치마크에서 경쟁력 있는 결과를 보인다.

ABSTRACT

This paper presents an empirical exploration of the use of capsule networks for text classification. While it has been shown that capsule networks are effective for image classification, their validity in the domain of text has not been explored. In this paper, we show that capsule networks indeed have the potential for text classification and that they have several advantages over convolutional neural networks. We further suggest a simple routing method that effectively reduces the computational complexity of dynamic routing. We utilized seven benchmark datasets to demonstrate that capsule networks, along with the proposed routing method provide comparable results.

연구 동기 및 목표

• 캡슐 네트워크가 텍스트 분류를 효과적으로 수행할 수 있음을 입증한다.
• 텍스트 데이터에 대한 동적 라우팅의 대안으로서 정적 라우팅 변형을 도입한다.
• ELU-gate를 정보의 흐름을 잃지 않으면서 관련 정보를 전파하는 메커니즘으로 제시한다.
• 일곱 가지 표준 텍스트 분류 데이터셋에서 CNN 기초선과 비교하여 성능을 평가한다.

제안 방법

• 문서를 컨볼루션 캡슐을 통해 벡터로 매핑하고 최종 텍스트 캡슐 계층으로 처리하는 방식으로 텍스트에 캡슐 네트워크를 적용한다.
• 풀링에 의존하지 않고 활성 특성을 선택하기 위해 게이팅 메커니즘(ELU-gate)을 사용한다.
• 컨볼루션 캡슐과 텍스트 캡슐 사이의 두 가지 라우팅 스킴을 구현한다: 동적 라우팅(Sabour 등)과 제안된 정적 라우팅.
• 리셉터브 필드를 확장하고 풀링을 피하기 위해 컨볼루션 캡슐 계층의 커널 크기를 증가시킨다.
• 사전처리된 GloVe 단어 벡터로 학습하고 CNN 기초선과 비교하며 일곱 가지 데이터셋에서 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크가 표준 벤치마크에서 CNN과 비교하여 텍스트 분류 정확도를 경쟁력 있게 달성할 수 있는가?
• RQ2 텍스트 분류에서 정적 라우팅이 정확도와 계산 효율성 측면에서 동적 라우팅에 비해 이점이 있는가?
• RQ3 아키텍처 선택(ELU-gate, 대형 커널 컨볼루션 캡슐)이 텍스트 데이터의 성능에 미치는 영향은 무엇인가?
• RQ4 캡슐 기반 모델은 다양한 데이터셋(예: 뉴스, 감성, Q&A)에서 어떻게 동작하는가?

주요 결과

모델	20news	Reuters10	MR (2004)	MR (2005)	TREC-QA	MPQA	IMDb
CapsNet-dynamic-routing	86.45	86.72	88.1	81.00	93.80	89.60	89.80
CapsNet-static-routing	87.17	87.52	89.6	80.98	94.84	90.57	89.72
CNN-non-static*	86.6	87.4	88.0	81.3	92.7	89.9	90.36

• 동적 라우팅과 정적 라우팅을 모두 포함한 캡슐 네트워크가 CNN 기초선과 비교하여 일곱 가지 데이터셋에서 경쟁력 있는 정확도를 달성한다.
• 정적 라우팅은 평가된 데이터셋에서 일반적으로 동적 라우팅보다 더 높은 정확도를 보인다.
• 정적 라우팅은 텍스트 분류에서 계산 복잡성을 줄이는 동시에 성능을 유지하거나 향상시킨다.
• 게이팅 없이도 ELU-gate를 활용한 변형에서 정확도 향상이 관찰되며, 정보 보존형 특징 선택의 이점을 시사한다.
• 20news, Reuters10, MR(2004), MR(2005), TREC-QA, MPQA, IMDb에서 CapsNet-static-routing의 정확도는 각각 87.17, 87.52, 89.6, 80.98, 94.84, 90.57, 89.72이고, CapsNet-dynamic-routing은 각각 86.45, 86.72, 88.1, 81.00, 93.80, 89.60, 89.80이며, CNN-non-static*은 각각 86.6, 87.4, 88.0, 81.3, 92.7, 89.9, 90.36이다.