[논문 리뷰] Dis-S2V: Discourse Informed Sen2Vec

Tanay Kumar Saha, Shafiq Joty외 2명|arXiv (Cornell University)|2016. 10. 25.

Topic Modeling참고 문헌 25인용 수 3

한 줄 요약

이 논문은 내용 기반 Sen2Vec 모델에 논의 수준의 관계를 통합하여 문장 표현을 학습하는 데 새로운 방법인 Dis-S2V를 제안한다. 이는 상호 문장 관계를 인코딩하기 위해 논의 그래프를 사용하며, 벡터 표현을 향상시키기 위해 리트로핏팅 또는 그래프 정규화를 적용하여, 내용 전용 기준 모델 대비 분류, 군집화, 순위 매기기 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Vector representation of sentences is important for many text processing tasks that involve clustering, classifying, or ranking sentences. Recently, distributed representation of sentences learned by neural models from unlabeled data has been shown to outperform the traditional bag-of-words representation. However, most of these learning methods consider only the content of a sentence and disregard the relations among sentences in a discourse by and large. In this paper, we propose a series of novel models for learning latent representations of sentences (Sen2Vec) that consider the content of a sentence as well as inter-sentence relations. We first represent the inter-sentence relations with a language network and then use the network to induce contextual information into the content-based Sen2Vec models. Two different approaches are introduced to exploit the information in the network. Our first approach retrofits (already trained) Sen2Vec vectors with respect to the network in two different ways: (1) using the adjacency relations of a node, and (2) using a stochastic sampling method which is more flexible in sampling neighbors of a node. The second approach uses a regularizer to encode the information in the network into the existing Sen2Vec model. Experimental results show that our proposed models outperform existing methods in three fundamental information system tasks demonstrating the effectiveness of our approach. The models leverage the computational power of multi-core CPUs to achieve fine-grained computational efficiency. We make our code publicly available upon acceptance.

연구 동기 및 목표

• 기존의 내용 전용 모델에서 간과되는 논의 수준의 문장 간 관계를 통합하여 문장 표현 학습을 향상시키기 위해.
• 문장 표현 학습에서 논의 구조를 효과적으로 모델링하고 활용하는 데 도전하기 위해.
• 논의 정보가 분류, 군집화, 순위 매기기와 같은 하류 NLP 작업에 미치는 영향을 평가하기 위해.
• 다중 코어 CPU에서 잘 스케일링되는 계산적으로 경량화된 모델을 개발하기 위해.

제안 방법

• 노드가 문장을 나타내고, 간선이 문장 유사도를 나타내는 논의 그래프를 구축하여 상호 문장 관계를 캡처한다.
• 노드2베이트 알고리즘을 사용하여 논의 그래프에서 문장 표현을 사전 학습함으로써 구조적이고 관계적인 정보를 캡처한다.
• 두 가지 리트로핏팅 전략을 적용: (i) 1호프 이웃을 사용한 반복적 인접 기반 리트로핏팅, 및 (ii) 더 유연한 이웃 선택을 위한 분류적 샘플링 방법.
• 기존의 Sen2Vec 목적 함수에 그래프 스무딩 정규화 항을 도입하여 내용과 논의 정보를 함께 최적화한다.
• Skip-gram 또는 DBOW를 사용하는 내용 기반 Sen2Vec 모델을 리트로핏팅 또는 정규화를 통해 논의 인식 표현과 결합한다.
• 다중 코어 CPU 병렬 처리를 활용하여 학습 및 추론 시 세밀한 계산 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 문장 간 논의 관계가 분산 문장 표현의 품질을 향상시킬 수 있는가?
• RQ2 문장 간 관계는 기존의 내용 기반 문장 임베딩 프레임워크에 효과적으로 모델링되고 통합될 수 있는가?
• RQ3 논의 구조를 통합하면 분류, 군집화, 순위 매기기와 같은 하류 NLP 작업에서 측정 가능한 성능 향상이 이루어지는가?
• RQ4 리트로핏팅과 정규화 중 어느 방법이 의미 정보를 더 잘 유지하면서도 논의 인식 능력을 향상시키는가?

주요 결과

• 제안된 Dis-S2V 모델은 분류, 군집화, 순위 매기기 세 가지 작업 전반에서 내용 전용 Sen2Vec 기준 모델을 모두 능가한다.
• 그래프 스무딩 정규화 항을 포함한 정규화 모델이 모든 작업에서 뛰어난 성능을 보이며, 논의 정보의 강력한 통합을 시사한다.
• 리트로핏팅 기반 모델은 분류 및 군집화 작업에서 뚜렷한 성능 향상을 보였지만, 순위 매기기 작업에서는 덜 효과적이었다.
• 논의 그래프 표현은 문장 간 주제적 관계와 논리적 관계를 효과적으로 캡처하여 문장 벡터의 의미적 일관성을 향상시켰다.
• 모델들은 다중 코어 CPU에서 높은 계산 효율성과 확장성을 확보하여 대규모 응용 분야에 실용적으로 활용 가능했다.