[논문 리뷰] Interpretable Text Classification Using CNN and Max-pooling

Hao Cheng, Xiaoqing Yang외 3명|arXiv (Cornell University)|2019. 10. 14.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 입력 토큰의 기여도를 예측에 따라 추적하기 위해 컨volution 기여도와 n-gram 특징 분석을 활용한 해석 가능한 메커니즘을 갖춘 CNN 기반 텍스트 분류 모델을 제안한다. 이는 최고 수준의 성능를 달성하면서도, 시각화와 훈련 샘플과의 패턴 매칭을 통해 인간이 이해할 수 있는 세부적인 모델 결정 설명을 가능하게 한다.

ABSTRACT

Deep neural networks have been widely used in text classification. However, it is hard to interpret the neural models due to the complicate mechanisms. In this work, we study the interpretability of a variant of the typical text classification model which is based on convolutional operation and max-pooling layer. Two mechanisms: convolution attribution and n-gram feature analysis are proposed to analyse the process procedure for the CNN model. The interpretability of the model is reflected by providing posterior interpretation for neural network predictions. Besides, a multi-sentence strategy is proposed to enable the model to beused in multi-sentence situation without loss of performance and interpret ability. We evaluate the performance of the model on several classification tasks and justify the interpretable performance with some case studies.

연구 동기 및 목표

• 딥 네ural 네트워크 텍스트 분류기, 특히 CNN 기반 모델에서의 해석 가능성 부족 문제를 해결하기 위해.
• 입력 토큰, 학습된 n-gram 특징, 최종 예측 간의 포인트와의 연관성을 수립하기 위해.
• 성능나 해석 가능성 손실 없이 다중 문장 맥락에서의 해석 가능성을 보장하기 위해.
• 사례 연구 및 예측 기여도의 시각화를 통해 해석 가능성의 타당성을 검증하기 위해.
• 훈련 샘플로 판단 근거를 추적하여 잘못된 예측 원인을 식별하고 분석하기 위해.

제안 방법

• 컨볼루션 기여도는 컨볼루션 연산을 분해하여 각 워드 벡터 값이 n-gram 특징에 기여하는 정도를 계산한다.
• n-gram 특징 파싱은 최대 풀링 연산을 역추적하여 특정 n-gram 특징이 최종 분류 결정에 어떻게 연결되는지 파악한다.
• 다중 문장 가중치 전략은 여러 문장 간 표현을 통합하면서도 해석 가능성을 유지한다.
• 모델은 1D 컨볼루션을 사용하며, 다양한 커널 크기를 통해 워드 벡터 시퀀스에서 국소적 n-gram 패턴을 탐지한다.
• 해석 가능성은 단어 수준의 기여도를 타겟 카테고리에 매핑하여 인간이 이해할 수 있는 설명을 가능하게 한다.
• 오류 분석은 예측 패턴을 유사한 훈련 샘플과 매칭하여 오해의 소지가 있는 특징을 식별하기 위해 수행된다.

실험 결과

연구 질문

• RQ1 CNN 기반 텍스트 분류기에서 개별 입력 토큰의 기여도를 최종 예측에 어떻게 해석할 수 있는가?
• RQ2 CNN 모델에서 학습된 n-gram 특징과 입력 워드 벡터 간에 신뢰할 수 있는 연결을 수립할 수 있는가?
• RQ3 성능 손실 없이 다중 문장 텍스트 분류에서 해석 가능성을 어떻게 유지할 수 있는가?
• RQ4 특징 수준의 기여도 및 패턴 매칭을 통해 모델의 의사결정 과정을 어느 정도 설명할 수 있는가?
• RQ5 특정 훈련 샘플로 판단 근거를 추적함으로써 잘못된 예측를 식별하고 진단할 수 있는가?

주요 결과

• 모델은 TREC 및 기타 벤치마크를 포함한 텍스트 분류 작업에서 최고 수준의 분류기와 유사한 성능를 달성한다.
• 컨볼루션 기여도는 'technology brand' 카테고리에서 'intelligent'와 같은 특정 단어가 예측에 가장 크게 기여하는 것을 성공적으로 식별한다.
• n-gram 특징 분석은 모델이 의미적으로 유의미한 패턴을 학습하고 있음을 드러내며, 예를 들어 'how long'이 'NUM' 카테고리에 강하게 영향을 준다.
• 시각화 결과 모델의 주의 집중이 어텐션 메커니즘보다 더 정밀하며, 더 명확하고 집중된 기여도를 보인다.
• 훈련 샘플과의 패턴 매칭을 통해 저신뢰도 예측는 종종 비합리적이거나 오해의 소지가 있는 특징 조합에서 기인한다는 것이 드러났다.
• 다중 문장 전략은 성능와 해석 가능성을 유지하며, 긴 입력 텍스트의 효과적인 분석을 가능하게 한다.