[논문 리뷰] Deep Short Text Classification with Knowledge Powered Attention

Jindong Chen, Yizhou Hu외 3명|arXiv (Cornell University)|2019. 02. 21.

Topic Modeling참고 문헌 22인용 수 10

한 줄 요약

이 논문은 지식 기반(KB)에서 외부 지식을 이원주의적 주의 메커니즘을 사용하여 통합함으로써 단문 분류 성능을 향상시키는 딥 뉴럴 네트워크 모델인 STCKA를 제안한다. 개념-단문(C-ST) 및 개념-개념 세트(C-CS) 주의를 적용하여 모델은 관련 개념에 대해 동적으로 가중치를 부여함으로써 의미 표현을 향상시키고, 네 가지 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Short text classification is one of important tasks in Natural Language Processing (NLP). Unlike paragraphs or documents, short texts are more ambiguous since they have not enough contextual information, which poses a great challenge for classification. In this paper, we retrieve knowledge from external knowledge source to enhance the semantic representation of short texts. We take conceptual information as a kind of knowledge and incorporate it into deep neural networks. For the purpose of measuring the importance of knowledge, we introduce attention mechanisms and propose deep Short Text Classification with Knowledge powered Attention (STCKA). We utilize Concept towards Short Text (C- ST) attention and Concept towards Concept Set (C-CS) attention to acquire the weight of concepts from two aspects. And we classify a short text with the help of conceptual information. Unlike traditional approaches, our model acts like a human being who has intrinsic ability to make decisions based on observation (i.e., training data for machines) and pays more attention to important knowledge. We also conduct extensive experiments on four public datasets for different tasks. The experimental results and case studies show that our model outperforms the state-of-the-art methods, justifying the effectiveness of knowledge powered attention.

연구 동기 및 목표

• 단문에서의 모호성과 부족한 맥락 정보로 인해 정확한 분류가 어려운 문제를 해결하기 위해.
• 지식 기반(KB)에서의 구조화된 사전 지식를 忽시하는 암묵적 신경 모델의 한계를 극복하기 위해.
• 주의 메커니즘을 통해 관련성을 학습함으로써 KB에서 유래한 개념의 노이즈와 모호성을 완화하기 위해.
• 개념의 의미적 관련성과 분류 능력에 따라 적응적으로 가중치를 설정함으로써 분류 성능을 향상시키기 위해.
• 개념적 지식을 딥 러닝 프레임워크에 통합함으로써 명시적 표현과 암묵적 표현을 통합하기 위해.

제안 방법

• 단문을 관련 개념으로 연결하기 위해 개념화를 통해 외부 지식 기반(KB, 예: YAGO, Freebase)에서 개념 정보를 검색한다.
• 개념-단문(C-ST) 주의를 적용하여 단문과 각 후보 개념 간의 의미 유사도를 계산한다.
• 개념-개념 세트(C-CS) 주의를 사용하여 검색된 개념 세트 내에서 각 개념의 상대적 중요도를 평가한다.
• 학습 가능한 소프트 스위치를 통해 C-ST 및 C-CS 주의 점수를 조합하여 각 개념에 대한 최종 주의 가중치를 산출한다.
• 최종 주의 가중치를 사용하여 개념 임베딩의 가중합을 생성함으로써 개념 표현을 형성한다.
• 자기 주의를 사용하여 문자 수준 및 단어 수준 특징을 통합하여 맥락 기반 단문 표현을 생성하고, 이를 분류를 위해 개념 표현과 융합한다.

실험 결과

연구 질문

• RQ1 지식 기반에서의 외부 지식 통합이 단문 분류 모델의 성능을 향상시킬 수 있는가?
• RQ2 주의 메커니즘을 어떻게 활용하여 단문에 대한 관련성에 따라 검색된 개념의 중요도를 동적으로 가중치를 설정할 수 있는가?
• RQ3 이원주의적 주의 메커니즘(C-ST 및 C-CS)이 KB에서 유래한 개념의 모호성과 노이즈를 효과적으로 해결할 수 있는가?
• RQ4 제안된 모델이 다양한 단문 분류 작업에서 기존 최신 기술 수준의 방법들을 초월하는가?
• RQ5 이름이 지정된 실체가 없거나 KB 커버리지가 부족한 장꼬리 실체를 가진 단문을 어떻게 처리하는가?

주요 결과

• 제안된 STCKA 모델은 네 가지 공개 단문 분류 데이터셋에서 최신 기술 수준의 방법들을 능가하는 뛰어난 분류 정확도를 보였다.
• 이원주의적 주의 메커니즘(C-ST 및 C-CS)은 관련성이 없거나 모호한 KB 개념에서 유래한 노이즈를 효과적으로 줄였다. 예를 들어, 단어 'Apple'이 '휴대 전화'인지 '과일'인지의 차이를 구분하는 데 성공했다.
• 모델은 더 분류 능력이 높은 개념—예를 들어 '기업가'는 '사람'보다 더 높은 주의 가중치를 할당함으로써, 모호하거나 희귀 실체에 대한 분류 성능을 향상시켰다.
• 지식 기반 주의의 통합은 특히 어휘에 없는 단어나 희귀 실체에 대해 더 나은 의미 표현을 가능하게 했다.
• 사례 연구를 통해 모델이 의미적으로 관련성 있고 분류 능력이 높은 지식에 집중함으로써 인간과 유사한 추론 방식을 모방함을 확인했다.
• KB가 불완전하더라도 모델은 여전히 강건한 성능을 유지하지만, 유용한 개념이 없는 장꼬리 실체의 경우 성능이 저하됨을 확인했다.