[논문 리뷰] iCapsNets: Towards Interpretable Capsule Networks for Text Classification

Zhengyang Wang, Hu Xia외 1명|arXiv (Cornell University)|2020. 05. 16.

Topic Modeling참고 문헌 31인용 수 7

한 줄 요약

이 논문은 캡슐 기반의 의미 모델링과 학습 가능한 다중 헤드 어텐션 메커니즘을 통해 국소적이고 전반적인 해석 가능성을 동시에 달성하는 새로운 해석 가능한 캡슐 네트워크인 iCapsNets를 제안한다. 이 모델은 7개 데이터셋 중 4개에서 베이스라인을 능가하는 경쟁력 있는 분류 정확도를 달성하면서도 개별 예측과 모델 전반의 행동에 대한 인간이 이해할 수 있는 설명을 제공한다.

ABSTRACT

Many text classification applications require models with satisfying performance as well as good interpretability. Traditional machine learning methods are easy to interpret but have low accuracies. The development of deep learning models boosts the performance significantly. However, deep learning models are typically hard to interpret. In this work, we propose interpretable capsule networks (iCapsNets) to bridge this gap. iCapsNets use capsules to model semantic meanings and explore novel methods to increase interpretability. The design of iCapsNets is consistent with human intuition and enables it to produce human-understandable interpretation results. Notably, iCapsNets can be interpreted both locally and globally. In terms of local interpretability, iCapsNets offer a simple yet effective method to explain the predictions for each data sample. On the other hand, iCapsNets explore a novel way to explain the model's general behavior, achieving global interpretability. Experimental studies show that our iCapsNets yield meaningful local and global interpretation results, without suffering from significant performance loss compared to non-interpretable methods.

연구 동기 및 목표

• 높은 정확도를 얻는 데 비해 모델의 투명성이 떨어지는 텍스트 분류 분야에서의 해석 가능한 딥 러닝 모델에 대한 필수적인 요구를 해결한다.
• 의미 이해가 부족하고 딥 러닝 모델(예: RNN, CNN)이 검은 상자처럼 작동하는 전통적인 모델(예: bag-of-words)의 한계를 극복한다.
• 텍스트에 적합하게 조정된 캡슐 네트워크 아키텍처를 개발하여 국소적 해석 가능성(각 샘플에 대한 설명)과 전반적 해석 가능성(모델 전반의 행동 설명)을 모두 지원한다.
• 성능-해석 가능성 격차를 해소하여 경쟁력 있는 정확도를 유지하면서도 의미 있는, 인간이 이해할 수 있는 설명을 가능하게 한다.
• 의미적 관련성과 모델의 결정 과정을 반영하는 방식으로 캡슐 활성화와 어텐션 가중치를 해석할 수 있는 새로운 방법을 도입한다.

제안 방법

• 캡슐 간의 다이나믹 라우팅을 통해 의미를 모델링하는 방식으로 컴퓨터 비전에서의 캡슐 네트워크(CapsNets)를 텍스트 분류에 적응시킨다.
• 표현 학습을 향상시키고 해석 가능성을 높이기 위해 주목할 만한 단어 및 어구 특징을 강조하는 학습 가능한 다중 헤드 어텐션 레이어를 통합한다.
• 순차적 구조를 유지하기 위해 캡슐 레이어에 입력하기 전에 1D 컨볼루션 레이어를 사용해 국소적 n-gram 특징을 추출한다.
• 어휘 임베딩을 입력으로 사용하며, 주요 캡슐들이 임베딩 공간에서 희소하고 의미적으로 구별되는 표현을 학습한다.
• 어텐션 메커니즘을 활용해 단어와 어구에 중요도 점수를 할당함으로써 예측에 기여하는 핵심 요소를 식별함으로써 국소적 해석 가능성을 달성한다.
• t-SNE를 사용해 캡슐 쿼리의 시각화를 통해 희소하고 의미적으로 다양하게 분포된 특성을 보여주어 전반적 해석 가능성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 해석 가능성을 유지하면서 텍스트 분류에 효과적으로 적응시킬 수 있는가?
• RQ2 각 예측에 대해 가장 영향력 있는 단어나 어구를 식별함으로써 캡슐 기반 모델에서 국소적 해석 가능성을 어떻게 달성할 수 있는가?
• RQ3 전체 데이터셋에 걸쳐 학습된 캡슐 표현과 어텐션 패턴을 분석함으로써 전반적 해석 가능성을 달성할 수 있는가?
• RQ4 제안된 iCapsNets 모델은 비해석 가능한 딥 러닝 모델에 비해 경쟁력 있는 분류 정확도를 얼마나 유지하는가?
• RQ5 어텐션 메커니즘과 캡슐 라우팅이 텍스트 분류 과제에서 성능과 해석 가능성을 동시에 향상시킬 수 있는가?

주요 결과

• iCapsNets는 7개의 벤치마크 텍스트 분류 데이터셋에서 최고 수준 또는 경쟁력 있는 정확도를 달성했으며, FastText, D-LSTM, CapsNets 등 12개의 베이스라인 중 4개에서 승리했다.
• AG’s News 데이터셋에서 iCapsNets Short는 테스트 정확도 99.0%를 기록했으며, 원본 CapsNets와 FastText 베이스라인을 모두 초월했다.
• 주요 캡슐 쿼리의 t-SNE 시각화 결과는 임베딩 공간에서 희소하고 잘 분리된 분포를 보여주며, 캡슐이 서로 다른 의미적 개념을 학습하고 있음을 시사한다.
• 어텐션 가중치와 캡슐 활성화를 통해 关건 단어와 어구를 강조함으로써 국소적 해석 가능성이 효과적으로 달성되었으며, 인간이 읽을 수 있는 예측 근거가 제공되었다.
• 학습된 캡슐 표현을 분석함으로써 전반적 해석 가능성이 입증되었으며, 다양한 캡슐이 데이터셋 전반에서 서로 다른 의미적 특징에 특화되어 있음을 확인했다.
• 해석 가능성 메커니즘을 통합함에도 불구하고 iCapsNets는 성능 손실가 최소화되어 char-VDCNN 및 D-LSTM과 같은 비해석 가능한 모델과 비교해 높은 정확도를 유지했다.