[논문 리뷰] Discovery of Natural Language Concepts in Individual Units of CNNs

Seil Na, Yo Joong Choe외 2명|arXiv (Cornell University)|2019. 02. 18.

Topic Modeling참고 문헌 36인용 수 5

한 줄 요약

이 논문은 자연어처리(NLP)를 위한 딥 컨volution 신경망(CNN)의 개별 유닛이 어떤 형태소, 단어, 어구를 감지하는지 파악하기 위한 개념 정렬 방법을 제안한다. 복제된 텍스트에서 유닛 활성도를 측정함으로써, CNN 유닛이 해석 가능한 언어적 개념에 선택적으로 반응함을 드러내며, 추가적인 감독 없이도 중간 표현이 의미 있는 언어 단위를 인코딩하고 있음을 입증한다. 개념 빈도, 중요도, 유닛 활성도 간에 높은 상관관계가 있음을 보여준다.

ABSTRACT

Although deep convolutional networks have achieved improved performance in many natural language tasks, they have been treated as black boxes because they are difficult to interpret. Especially, little is known about how they represent language in their intermediate layers. In an attempt to understand the representations of deep convolutional networks trained on language tasks, we show that individual units are selectively responsive to specific morphemes, words, and phrases, rather than responding to arbitrary and uninterpretable patterns. In order to quantitatively analyze such an intriguing phenomenon, we propose a concept alignment method based on how units respond to the replicated text. We conduct analyses with different architectures on multiple datasets for classification and translation tasks and provide new insights into how deep models understand natural language.

연구 동기 및 목표

• 딥 컨volution 신경망이 중간층에서 자연어를 어떻게 표현하는지 이해하고, NLP 모델의 해석 가능성 부족 문제를 해결한다.
• NLP 작업을 위한 CNN의 개별 유닛이 특정 언어적 개념에 선택적으로 반응하는지, 아니면 임의의 패턴에 반응하는지 조사한다.
• 모든 네트워크 유닛이 어떤 자연어 개념(형태소, 단어, 어구)을 인코딩하고 있는지 체계적으로 식별하는 방법을 개발한다.
• 이러한 개념 표현 방식이 네트워크 깊이, 아키텍처, 작업 유형, 데이터 분포에 따라 어떻게 변화하는지 분석한다.
• 학습 데이터에서의 개념 빈도 또는 작업 목표에 대한 영향력(모델 손실에 미치는 영향)과 개념의 등장 패턴 간의 관계를 탐구한다.

제안 방법

• CNN의 은닉층에 있는 각 유닛에 대해 훈련 세트에서 가장 활성화된 문장을 식별한다.
• 가장 활성화된 문장을 형태소, 단어, 어구로 분해하여 후보 자연어 개념을 추출한다.
• 각 개념을 더미 토큰으로 체계적으로 대체한 복제된 텍스트에서 유닛 활성도를 측정하여 기여도를 평가한다.
• 원본 텍스트와 가림 처리된 텍스트 간의 활성도 차이를 측정하여 각 개념이 유닛 반응에 얼마나 기여하는지 정량화한다.
• 이 개념 정렬 방법을 다양한 아키텍처(VDCNN, ByteNet), 데이터셋(Yelp, AG News, DBpedia, Europarl, News Commentary), 작업(분류, 번역)에 걸쳐 적용한다.
• 각 개념에 대해 정렬된 유닛 수를 문서 빈도와 Delta of Expected Loss(DEL)와 상관시켜, 작업 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 NLP 작업을 위한 CNN 유닛이 특정 형태소, 단어, 어구에 선택적으로 반응하는가, 아니면 해석할 수 없는 방식으로 활성화되는가?
• RQ2 유닛이 감지하는 언어적 개념은 네트워크 깊이, 아키텍처, 훈련 작업에 따라 어떻게 달라지는가?
• RQ3 어떤 개념이 많은 유닛에 의해 감지되는가, 어떤 개념은 그렇지 않은가를 결정짓는 요소는 무엇인가?
• RQ4 개념 감지 패턴이 학습 데이터에서의 빈도나 모델 손실에 미치는 영향(DEL)과 얼마나 상관되는가?
• RQ5 유닛 수준의 개념 감지 결과를 바탕으로, 성능을 유지하면서 파rameter를 줄일 수 있는 더 효율적인 모델 설계가 가능한가?

주요 결과

• NLP 작업을 위한 CNN 유닛은 특정 형태소, 단어, 어구를 선택적으로 감지하는 감지기 역할을 하며, 중간 표현이 해석 가능하고 의미적으로 유의미하다는 것을 입증한다.
• 추가적인 레이블링이나 재학습 없이도 이 방법이 언어적 개념을 성공적으로 식별하며, 유닛이 자연어 개념에 반응함을 드러내며 임의의 패턴이 아니라는 것을 보여준다.
• 학습 데이터에서의 개념 빈도와 이를 감지하는 유닛 수 사이에 강한 양의 상관관계(r = 0.732)가 존재한다.
• 모델 성능에 더 큰 영향을 미치는 개념—Delta of Expected Loss(DEL)로 측정—은 더 높은 유닛 정렬도를 보이며(r = 0.492), 이는 유닛이 작업 핵심 정보를 인코딩하고 있음을 시사한다.
• 개념의 세분화 수준은 중간~높은 층에서 안정화되며(예: ByteNet에서 약 6개의 인코더 레이어 이후), 이는 깊은 층이 주어진 작업에 대해 추가적인 언어 정보를 제공하지 않는다는 것을 시사한다.
• 분석 결과 중간 층의 표현은 이미 매우 정보가 풍부하며, 컴퓨터 비전에서의 추세와는 반대로 NLP에서는 중간 층이 더 전이 가능할 수 있음을 지지한다.