[논문 리뷰] Self-interpretable Convolutional Neural Networks for Text Classification

Wei Zhao, Rahul Singh외 3명|arXiv (Cornell University)|2021. 05. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 10인용 수 4

한 줄 요약

이 논문은 ReLU 기반의 딥 네ural 네트워크(DNN)에서 유도된 국소 선형 모델을 활용하여 텍스트 분류를 위한 자기 해석 가능한 컨볼루션 네트워크(CNN)를 제안한다. 이러한 국소 선형 모델을 최대 풀링 레이어를 통해 원본 n-그램으로 다시 매핑함으로써, 분류 정확도가 기존 표준 CNN들과 유사한 수준을 유지하면서도 희박하고 해석 가능한 특징 표현을 생성한다.

ABSTRACT

Deep learning models for natural language processing (NLP) are inherently complex and often viewed as black box in nature. This paper develops an approach for interpreting convolutional neural networks for text classification problems by exploiting the local-linear models inherent in ReLU-DNNs. The CNN model combines the word embedding through convolutional layers, filters them using max-pooling, and optimizes using a ReLU-DNN for classification. To get an overall self-interpretable model, the system of local linear models from the ReLU DNN are mapped back through the max-pool filter to the appropriate n-grams. Our results on experimental datasets demonstrate that our proposed technique produce parsimonious models that are self-interpretable and have comparable performance with respect to a more complex CNN model. We also study the impact of the complexity of the convolutional layers and the classification layers on the model performance.

연구 동기 및 목표

• 딥 러닝 모델의 투명성 부족 문제를 해결하기 위해 성능을 희생시키지 않은 채 내재된 해석 가능성을 제공하고자 한다.
• ReLU-DNN에서 유도된 국소 선형 근사 모델을 원본 텍스트 n-그램으로 다시 매핑하여 모델의 해석을 가능하게 하는 방법을 개발하고자 한다.
• 컨볼루션 계층과 분류 계층의 복잡도와 모델의 해석 가능성 간의 상호 관계를 평가하고자 한다.
• 경쟁적인 분류 정확도를 유지하면서도 간결하고 자기 해석 가능한 모델을 생성하고자 한다.

제안 방법

• ReLU 기반의 딥 네ural 네트워크에 내재된 국소 선형 성질을 활용하여 예측에 대한 국소 해석을 생성한다.
• 표준 CNN 아키텍처에서 최대 풀링을 적용하여 단어 임베딩에서 중요한 n-그램 특징을 추출한다.
• 최종 완전 연결 계층에서 유도된 국소 선형 모델을 최대 풀링 연산을 통해 다시 매핑하여 영향력 있는 n-그램을 식별한다.
• 뒤로 매핑된 국소 선형 계수를 기반으로 가장 관련성이 높은 n-그램만을 선택하여 자기 해석 가능한 모델을 구축한다.
• ReLU 활성화 함수를 사용한 표준 CNN 학습을 통해 모델을 최적화하며, 엔드 투 엔드 미분 가능성을 유지한다.
• 최종 분류 계층에 희박성 유도 메커니즘을 적용하여 간결한 특징 선택을 촉진한다.

실험 결과

연구 질문

• RQ1 ReLU-DNN에서 유도된 국소 선형 모델을 원본 n-그램으로 효과적으로 다시 매핑하여 해석 가능한 텍스트 분류 모델을 생성할 수 있는가?
• RQ2 컨볼루션 계층과 분류 계층의 복잡도가 모델 성능와 해석 가능성에 어떤 영향을 미치는가?
• RQ3 자기 해석 가능한 CNN가 표준 비해석 가능한 CNN와 비교해 얼마나 높은 성능를 유지할 수 있는가?
• RQ4 특징 선택의 희박성이 텍스트 분류에서 모델 정확도와 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 벤치마크 텍스트 분류 데이터셋에서 표준 CNN와 유사한 분류 성능를 달성한다.
• 뒤로 매핑된 국소 선형 모델을 통해 예측에 기여하는 핵심 n-그램을 식별함으로써 희박하고 자기 해석 가능한 표현을 생성한다.
• 컨볼루션 및 분류 계층의 복잡도를 감소시키면 성능와 해석 가능성 사이에 트레이드오프가 발생하며, 최적의 구성이 확인된다.
• DNN에서 유도된 국소 선형 근사 모델을 원본 n-그램으로 성공적으로 다시 매핑하여 모델 결정의 직접적인 해석을 가능하게 한다.
• 자기 해석 가능한 모델는 높은 정확도를 유지하면서도 기존의 검은 상자 형태의 CNN에 비해 훨씬 높은 투명성을 확보한다.
• 최종 계층의 희박성이 예측 성능에 큰 손실 없이 해석 가능성을 향상시켜, 본 방법의 실용성을 입증한다.