[논문 리뷰] Syntax-based deep matching of short texts

Mingxuan Wang, Zhengdong Lu외 2명|arXiv (Cornell University)|2015. 07. 25.

Topic Modeling참고 문헌 20인용 수 43

한 줄 요약

이 논문은 트윗과 응답과 같은 짧은 텍스트를 매칭하기 위한 문법 기반 딥러닝 접근법인 Deep Match Tree (DEEPMATCHtree)를 제안한다. 이는 의존성 트리 곱공간을 활용해 매칭 패턴을 탐색하고, 상태의 기준 성능을 달성하기 위해 희박한 딥 네ural 네트워크를 훈련시킨다. 이는 문법 정보가 없는 모델들과 단어 임베딩만 사용하는 모델들을 능가한다.

ABSTRACT

Many tasks in natural language processing, ranging from machine translation to question answering, can be reduced to the problem of matching two sentences or more generally two short texts. We propose a new approach to the problem, called Deep Match Tree (DEEPMATCHtree), under a general setting. The approach consists of two components, 1) a mining algorithm to discover patterns for matching two short-texts, defined in the product space of dependency trees, and 2) a deep neural network for matching short texts using the mined patterns, as well as a learning algorithm to build the network having a sparse structure. We test our algorithm on the problem of matching a tweet and a response in social media, a hard matching problem proposed in [Wang et al., 2013], and show, that DEEP MATCHtree can outperform a number of competitor models including one without using dependency trees and one based on word-embedding, all with large margins.

연구 동기 및 목표

• 질의 응답 및 기계 번역과 같은 자연어 처리 작업에서 짧은 텍스트 매칭 문제를 해결하기 위해.
• 의존성 트리의 제품 공간 표현을 통해 문법적 구조를 활용하여 매칭 정확도를 향상시키기 위해.
• 더 나은 일반화 능력을 위해 탐색된 문법 패턴에서 학습하는 희박한 트레이너블 딥 네럴 네트워크를 개발하기 위해.
• 기존 모델들, 특히 문법 정보가 없는 모델들과 단어 임베딩에만 의존하는 모델들을 능가하기 위해.
• 소셜 미디어에서 트윗과 적절한 응답을 매칭하는 어려운 벤치마크 작업을 통해 접근법을 검증하기 위해.

제안 방법

• 쌍으로 이루어진 짧은 텍스트의 의존성 트리 곱공간에서 매칭 패턴을 탐지하기 위한 마이닝 알고리즘을 도입한다.
• 탐색된 문법 패턴을 특징으로 삼아 매칭을 위한 딥 네럴 네트워크 아키텍처를 구성한다.
• 희박한 구조를 강제하는 학습 알고리즘을 사용해 효율성과 일반화 능력을 향상시킨다.
• 다양한 짧은 텍스트 매칭 작업에 적용 가능한 일반적인 프레임워크에 기반한다.
• 구조적 유사성과 의미적 유사성을 포착하기 위해 문법 분석과 분산 표현 학습을 통합한다.
• 소셜 미디어 게시물과 같은 짧은 텍스트의 복잡성과 모호성을 처리하기 위해 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 문법 기반 딥러닝 모델이 짧은 텍스트 매칭 작업에서 비문법 기반 모델을 능가할 수 있는가?
• RQ2 의존성 트리 곱공간의 사용이 의미 있는 매칭 패턴을 탐지하는 데 얼마나 효과적인가?
• RQ3 탐색된 문법 패턴에서 훈련된 희박한 딥 네럴 네트워크가 어려운 소셜 미디어 응답 매칭 벤치마크에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 짧은 텍스트 매칭에서 문법적 구조와 단어 임베딩 간의 상대적 기여도는 어떠한가?
• RQ5 제안된 패턴 마이닝 및 네트워크 훈련 파이프라인은 다양한 짧은 텍스트 매칭 응용 분야에 일반화 가능한가?

주요 결과

• DEEPMATCHtree는 의존성 트리가 없는 모델보다 소셜 미디어 응답 매칭 작업에서 뚜렷한 성능 향상을 보였다.
• 단어 임베딩 기반 베이스라인 모델보다도 큰 성능 향상을 달성했다.
• 의존성 트리 곱공간에서 유도된 문법 패턴의 사용은 의미 임베딩만으로는 달성할 수 없는 매칭 정확도 향상을 가능하게 했다.
• 희박한 신경망 아키텍처는 계산 효율성을 유지하면서 효과적인 학습을 가능하게 했다.
• 결과적으로, 짧은 텍스트의 모호성과 간결함을 다루기 위해 문법 인식 모델링이 필수적임을 입증했다.
• Wang 등 (2013)이 제안한 벤치마크 작업에서 새로운 최고 성능을 기록했다.