[논문 리뷰] Hierarchical Optimal Transport for Document Representation

Mikhail Yurochkin, Sebastian Claici외 3명|arXiv (Cornell University)|2019. 06. 26.

Music and Audio Processing참고 문헌 31인용 수 35

한 줄 요약

계층적 최적 수송(HOTT)을 도입하여 문서를 주제의 분포(주제는 단어의 분포)로 모델링하고 주제 공간에서 WMD를 그라운드 메트릭으로 사용하여 Wasserstein 거리를 계산합니다. Word Mover’s Distance(WMD) 대비 해석 가능성과 확장성이 향상되며, k-NN 분류에서 유사한 정확도와 함께 더 나은 해석 가능성을 제공합니다.

ABSTRACT

The ability to measure similarity between documents enables intelligent summarization and analysis of large corpora. Past distances between documents suffer from either an inability to incorporate semantic similarities between words or from scalability issues. As an alternative, we introduce hierarchical optimal transport as a meta-distance between documents, where documents are modeled as distributions over topics, which themselves are modeled as distributions over words. We then solve an optimal transport problem on the smaller topic space to compute a similarity score. We give conditions on the topics under which this construction defines a distance, and we relate it to the word mover's distance. We evaluate our technique for k-NN classification and show better interpretability and scalability with comparable performance to current methods at a fraction of the cost.

연구 동기 및 목표

• Semantically meaningful word information과 말뭉치 특유의 주제를 활용한 효율적이고 해석 가능한 문서 유사성 확보.
• 단어 간의 비교를 줄이고 주제 간 운송으로 복잡성을 감소시키는 계층적 수송 거리 제안.
• HOTT를 기존 지표(WMD 등)와 연결하고, HOTT가 지표가 될 조건들을 분석.
• k-NN 분류 및 시각화 작업에서 HOTT의 성능과 확장성 시연.
• 주제 수, 임베딩 품질 및 truncation 전략에 대한 강건성 탐구.

제안 방법

• 각 문서를 LDA에서 얻은 주제 분포로 표현.
• 토픽을 단어 분포의 분포로 표현하고, 토픽 간 Ground Metric을 WMD를 사용해 단어 분포에서 정의합니다.
• 두 문서의 토픽 혼합 토픽 분포 간의 1- Wasserstein 거리로 HOTT를 정의하고, 문서 주제 비율로 가중된 토픽의 Dirac 질량으로 표현합니다.
• 해석 가능성과 분산 감소를 위해 토픽 간 거리(WMD 사이의 토픽 간 거리)를 미리 계산하고 해석 가능성을 높이고 분산을 줄이기 위해 토픽을 소수의 단어로 절단합니다.
• 주어진 주제 수가 단어 어휘 수에 대응할 때 HOTT가 WMD로 축소되는 방식 등 WMD와의 이론적 연결 및 경계 관계를 보여줍니다.
• k-NN 분류, 시각화(t-SNE), 인용 네트워크의 링크 예측에서 평가하고 RWMD, WMD 및 베이스라인과 비교합니다.

실험 결과

연구 질문

• RQ1 계층적 최적 수송이 문서 유사성에 대한 메트릭 기반의 확장 가능한 대안으로 WMD를 제공할 수 있는가?
• RQ2 코퍼스 특화 주제와 단어 임베딩 기반의 주제 거리 도입이 해석 가능성과 성능에 어떤 영향을 미치는가?
• RQ3 주제 수와 주제 절단이 정확도와 속도에 미치는 영향은 무엇인가?
• RQ4 HOTT가 임베딩 품질과 문서 길이에 대해 다양한 데이터셋에서 얼마나 강건한가?
• RQ5 HOTT를 시각화 및 링크 예측과 같은 다운스트림 작업에 효과적으로 사용할 수 있는가?

주요 결과

• HOTT는 주제 수준의 더 작은 운송 문제로 인해 WMD/RWMD보다 빠르며 여러 데이터셋에서 k-NN 정확도가 비슷하거나 더 우수합니다.
• 의미적으로 의미 있는 주제 간의 운송을 확인할 수 있어 주제 수준의 해석 가능성이 향상됩니다(예: 저자의 가장 중요한 주제 간의 운송).
• HOTT는 주제 수와 단어 임베딩 품질에 대해 강건하며, 상위 단어로 주제를 잘라도 성능을 보존하고 속도를 저하시키지 않습니다.
• Gutenberg 및 더 긴 문서에서 HOTT는 처리량 및 거리 기반 분류에서 경쟁사보다 우수하며, 짧은 문서에서는 RWMD/WMD에 근접한 성능을 보입니다.
• 토픽 공간에서 운송 문제를 해결하기 때문에 대형 말뭉라도 잘 확장되며 사전 계산된 토픽 거리와 함께 효율적입니다.
• HOTT 거리 기반 시각화(t-SNE)가 RWMD에 비해 라벨 간 분리가 더 명확하게 나타납니다.