[논문 리뷰] What Does a TextCNN Learn?

Linyuan Gong, Ruyi Ji|arXiv (Cornell University)|2018. 01. 19.

Topic Modeling참고 문헌 3인용 수 4

한 줄 요약

이 논문은 TREC 및 SST 데이터셋에서 컨볼루션 커널의 활성화 패턴을 분석하여 TextCNN이 학습하는 바를 분석한다. n-gram 민감도 분석과 커널 상관관계 측정을 통해 커널이 레이블에 특화된 특징, 일반적인 문법/주제, 그리고 특히 더 깊은 층에서 강한 상호작용을 보임을 규명하며, TextCNN의 내부 표현에 대한 해석 가능성 인사이트를 제공한다.

ABSTRACT

TextCNN, the convolutional neural network for text, is a useful deep learning algorithm for sentence classification tasks such as sentiment analysis and question classification. However, neural networks have long been known as black boxes because interpreting them is a challenging task. Researchers have developed several tools to understand a CNN for image classification by deep visualization, but research about deep TextCNNs is still insufficient. In this paper, we are trying to understand what a TextCNN learns on two classical NLP datasets. Our work focuses on functions of different convolutional kernels and correlations between convolutional kernels.

연구 동기 및 목표

• TextCNN의 내부 표현을 해석하기 위해, 문장 분류에 널리 사용되는 모델의 내부 표현을 이해하기 위함.
• 특히 텍스트 분류 레이블과의 관계에서 개별 컨볼루션 커널이 학습하는 특징를 이해하기 위함.
• 커널 간 상관관계를 분석하여 직능적 관계와 잠재적 중복성을 밝혀내기 위함.
• 첫 번째 및 두 번째 컨볼루션 층 간 커널 기능의 차이를 조사하기 위함.
• 블랙박스 성능을 넘어서, 정량적이고 해석 가능한 TextCNN의 학습된 표현 분석을 제공하기 위함.

제안 방법

• 학습 데이터에서 모든 n-gram을 추출하고, 이를 각 컨볼루션 커널에 입력하여 배치 정규화 및 ReLU 이후 활성화 값을 기록한다.
• 상위 3개 활성화 n-gram에 기반해 각 커널을 레이블링: 동일한 클래스에 属하면 해당 클래스 할당, 아니면 '기타'로 표기.
• 커널 활성화 벡터 간의 상관관계 계수를 계산하여 기능적 유사도를 측정한다.
• n-gram 关련 关键어를 기준으로 정렬한 활성화 그래프를 시각화하여 상관관계 측정 결과를 검증한다.
• 서로 상관관계가 낮은 커널 쌍(r < 0.1)과는 연결되지 않지만, 둘 다 높은 상관관계(r > 0.4)를 보이는 '브릿지' 커널을 식별한다.
• 사전 학습된 Word2Vec 임베딩과 정적 가중치를 사용하여 두 데이터셋(TREC: 질문 분류, SST: 감성 분석)에 적용한다.

실험 결과

연구 질문

• RQ1 TextCNN의 개별 컨볼루션 커널은 어떤 종류의 언어적 특징을 학습하는가?
• RQ2 레이블 특이성과 일반성 측면에서 첫 번째 및 두 번째 컨볼루션 층 간 커널 기능은 어떻게 다를까?
• RQ3 커널 간 상관관계는 어느 정도이며, 이는 기능적 중복성 또는 협업에 어떤 함의를 갖는가?
• RQ4 서로 관련이 없는 커널 쌍을 연결하는 '브릿지' 커널은 공유된 의미적 또는 문법적 패턴을 드러내는가?
• RQ5 커널 행동은 분류 작업의 기초 구조를 어떻게 반영하는가?

주요 결과

• 반보다 많은 커널(50% 이상)이 레이블에 특화된 행동을 보이며, 네트워크 내에서 직능적 전문화와 노동 분담이 이루어짐을 시사한다.
• 클래스별 커널 수에 큰 격차가 존재: HUM 및 NUM는 ABBR보다 더 많은 커널이 필요하며, 이는 인식 난이도의 차이를 반영한다.
• '기타' 클래스에 속하는 커널들은 일반적인 특징을 학습한다. 예: 문법 패턴('is/are an adj. noun') 또는 일반 주제('드라마' 또는 '국가 관련' 개념 등).
• 상관관계 분석 결과, 두 번째 층에서 첫 번째 층보다 더 강한 커널 상관관계를 보였다(예: r > 0.8 인 쌍이 619개). 이는 더 깊은 층에서의 협업이 더 강하다는 것을 시사한다.
• 두 번째 층은 첫 번째 층보다 훨씬 더 많은 '브릿지' 커널(1,642개)을 포함하고 있으며, 이는 더 깊은 층에서의 상호작용이 더 강하다는 것을 의미한다.
• 서로 다른 클래스(HUM와 NUM 등)를 연결하는 '브릿지' 커널의 존재는, 레이블만으로는 즉시 드러나지 않는 공유된 문법적 또는 의미적 패턴을 드러낸다.