[논문 리뷰] Learning Semantically Coherent and Reusable Kernels in Convolution Neural Nets for Sentence Classification

Madhusudan Lakshmana, Sundararajan Sellamanickam외 2명|arXiv (Cornell University)|2016. 08. 01.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 문장 분류를 위한 컨볼루션 네트워크에서 의미적으로 일관되고 재사용 가능한 컨볼루션 커널을 학습하기 위해 Word2Vec 및 SentiWordNet 임베딩을 사용하여 k-grams를 군집화하는 방법을 제안한다. 이 방법은 주의 시각화를 통해 모델의 해석 가능성을 향상시키고, 커널 재사용을 통해 훈련 시간을 크게 단축시킨다. 커널 재사용 시 상태최저성능에 근접한 성능을 달성하면서도 훈련 시간을 90% 감소시킨다.

ABSTRACT

The state-of-the-art CNN models give good performance on sentence classification tasks. The purpose of this work is to empirically study desirable properties such as semantic coherence, attention mechanism and reusability of CNNs in these tasks. Semantically coherent kernels are preferable as they are a lot more interpretable for explaining the decision of the learned CNN model. We observe that the learned kernels do not have semantic coherence. Motivated by this observation, we propose to learn kernels with semantic coherence using clustering scheme combined with Word2Vec representation and domain knowledge such as SentiWordNet. We suggest a technique to visualize attention mechanism of CNNs for decision explanation purpose. Reusable property enables kernels learned on one problem to be used in another problem. This helps in efficient learning as only a few additional domain specific filters may have to be learned. We demonstrate the efficacy of our core ideas of learning semantically coherent kernels and leveraging reusable kernels for efficient learning on several benchmark datasets. Experimental results show the usefulness of our approach by achieving performance close to the state-of-the-art methods but with semantic and reusable properties.

연구 동기 및 목표

• 의미적으로 관련된 구문(예: 'liked such movies'와 'loved this film')에 반응하는 의미적으로 일관된 커널을 학습하여 문장 분류에서 모델의 해석 가능성을 향상시키는 것.
• 예측 결정에 기여하는 주요 단어를 강조하는 시각화 기법을 개발하여 의사결정의 설명 가능성을 향상시키는 것.
• 유사한 자연어 처리 작업 간에 사전에 훈련된 커널의 재사용 가능성을 조사하고, 훈련 시간을 단축시키는 데에 활용하는 것.
• 의미적 일관성을 유지하면서도 제어 가능한 수의 유연한 필터를 허용함으로써 성능와 해석 가능성의 균형을 맞추는 것.

제안 방법

• Word2Vec 및 SentiWordNet 임베딩을 조합한 거리 함수를 사용하여 훈련 코퍼스의 k-grams를 군집화하여 의미적으로 일관된 그룹을 형성하는 것.
• 각 군집에 대해 매개변수화된 컨볼루션 커널을 정의하고, 소프트맥스 분류기 레이어와 함께 공동으로 훈련시키는 것.
• 최대 풀링된 커널 출력 기반의 단어 점수 기반 점수 계산 방식을 제안하여 입력 문장 내에서 주목을 받는 단어를 식별하고 시각화하는 것.
• 분류기 레이어만 미세조정하면서도, 한 데이터셋(예: IMDB)에서 사전 훈련된 커널을 다른 데이터셋(예: MR 또는 SST-1)에 재사용하는 것.
• 의미적으로 일관된 커널에 소수의(10% 또는 25%) 유연한 필터를 추가하여 성능를 향상시키되, 해석 가능성은 부분적으로 유지하는 하이브리드 접근법을 도입하는 것.

실험 결과

연구 질문

• RQ1 의미적으로 관련된 표현(예: 'liked such movies'와 'loved this film')에 반응하는 의미적으로 일관된 컨볼루션 커널을 CNN에서 학습할 수 있는가?
• RQ2 문장 내에서 예측 결정에 가장 영향을 미치는 단어는 무엇인지 시각화하고 해석할 수 있는가?
• RQ3 한 텍스트 분류 작업에서 훈련된 커널이 다른 유사한 작업에 재사용될 수 있는 정도는 어느 정도인가?
• RQ4 의미적으로 일관된 커널에 소수의 유연한 필터를 도입할 경우, 성능와 해석 가능성 간의 상호 보완적 타협은 어떻게 이루어지는가?

주요 결과

• 의미적으로 일관된 커널을 사용한 WkA 모델은 상태최저성능 CNN-S 모델에 근접한 성능를 보였으며, MR 데이터셋에서 78.77%의 정확도와 IMDB에서 89.17%의 정확도를 기록했다.
• 유연한 필터를 단 10%만 추가해도 WkA 모델의 SST-1 정확도가 43.30%로 향상되어 CNN-S와의 성능 격차를 줄였으며, 해석 가능성은 유지되었다.
• IMDB에서 훈련된 커널을 MR, SST-1, SST-2에 재사용하여 73.78%에서 89.17%의 정확도를 달성하여 유사 작업 간 강력한 전이 가능성(transferability)을 입증했다.
• SST-1에서 WkA 커널을 재사용할 경우 훈련 시간이 전체 훈련의 약 2시간에서 단 2분으로 줄어들어, 시간 단축 효과가 한 계단 높이 향상되었다.
• 시각화 기법은 'loved'와 'best'와 같은 주목할 만한 단어를 성공적으로 강조하여, 모델의 주의 집중이 인간이 이해할 수 있는 감성 신호와 일치함을 확인했다.