[논문 리뷰] Short Text Classification via Knowledge powered Attention with Similarity Matrix based CNN

Mingchen Li, Gabtone. Clinton외 2명|arXiv (Cornell University)|2020. 02. 09.

Topic Modeling참고 문헌 42인용 수 6

한 줄 요약

이 논문은 짧은 텍스트 분류를 위한 지식 기반 주의 모델인 KASM을 제안한다. 유사도 행렬 기반의 CNN을 사용하며, 지식 그래프 임베딩—특히 부모 엔티티 정보—를 통합하고 주의 메커니즘을 활용해 관련 지식의 중요도를 가중치를 부여함으로써 의미적 표현을 향상시키고 텍스트와 레이블 간의 단어 수준 상호작용을 포착하여 다섯 개의 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Short text is becoming more and more popular on the web, such as Chat Message, SMS and Product Reviews. Accurately classifying short text is an important and challenging task. A number of studies have difficulties in addressing this problem because of the word ambiguity and data sparsity. To address this issue, we propose a knowledge powered attention with similarity matrix based convolutional neural network (KASM) model, which can compute comprehensive information by utilizing the knowledge and deep neural network. We use knowledge graph (KG) to enrich the semantic representation of short text, specially, the information of parent-entity is introduced in our model. Meanwhile, we consider the word interaction in the literal-level between short text and the representation of label, and utilize similarity matrix based convolutional neural network (CNN) to extract it. For the purpose of measuring the importance of knowledge, we introduce the attention mechanisms to choose the important information. Experimental results on five standard datasets show that our model significantly outperforms state-of-the-art methods.

연구 동기 및 목표

• 짧은 텍스트 분류에서 단어의 다의성과 데이터 희소성 문제를 해결한다.
• 지식 그래프에서 외부 지식을 통합하여 짧은 텍스트의 의미적 표현을 향상시킨다.
• 유사도 행렬 기반의 CNN을 사용하여 입력 텍스트와 레이블 표현 간의 세밀한 상호작용을 포착한다.
• 주의 메커니즘을 통해 지식 구성 요소의 중요도를 동적으로 가중치를 할당하여 모델의 집중도를 향상시킨다.
• 기존 방법들과 비교하여 표준 짧은 텍스트 분류 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 지식 그래프(KG)를 사용하여 단어 표현을 풍부화시키며, 특히 의미적 맥락을 향상시키기 위해 부모 엔티티 정보를 통합한다.
• 입력 텍스트의 단어 임베딩과 레이블 표현 간의 유사도 행렬을 구성하여 문맥 수준의 상호작용을 모델링한다.
• 유사도 행렬에 컨volutional 신경망(CNN)을 적용하여 단어와 레이블 간의 국소적 상호작용 패턴을 추출한다.
• 지식 그래프 엔티티에 대한 주의 메커니즘을 통합하여 다양한 지식 구성 요소에 중요도 가중치를 동적으로 할당한다.
• 주의 메커니즘으로 가중된 지식 표현과 CNN으로 추출된 특징을 결합하여 최종 분류를 수행한다.
• 다중 분류 텍스트 분류를 위한 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 지식 그래프 정보—특히 부모 엔티티 관계—를 통합함으로써 짧은 텍스트 분류에서 의미적 표현을 향상시킬 수 있는가?
• RQ2 유사도 행렬 기반의 CNN은 입력 텍스트와 레이블 표현 간의 상호작용을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 지식 엔티티에 대한 주의 메커니즘이 관련 의미 정보에 집중함으로써 성능 향상에 기여하는가?
• RQ4 제안된 KASM 모델은 표준 짧은 텍스트 분류 벤치마크에서 기존 최신 기술 수준의 방법들을 얼마나 뛰어나게 성능을 내는가?

주요 결과

• KASM 모델은 다섯 개의 표준 짧은 텍스트 분류 데이터셋에서 최신 기술 수준의 방법들보다 뚜렷한 성능 향상을 달성한다.
• 지식 그래프에서 유래한 부모 엔티티 정보를 통합함으로써 모델이 단어의 다의성을 해결하고 데이터 희소성을 줄이는 데 기여한다.
• 유사도 행렬 기반의 CNN은 입력 텍스트와 레이블 표현 간의 세밀한 상호작용을 효과적으로 포착한다.
• 주의 메커니즘이 가장 관련성이 높은 지식 구성 요소를 성공적으로 식별하고 강조하여 모델의 해석 가능성과 정확도를 향상시킨다.
• 제거 실험(ablation study)를 통해 지식 통합, 유사도 행렬 기반 CNN, 주의 메커니즘 각각의 구성 요소가 전체 성능에 의미 있는 기여를 한다는 것이 확인되었다.