[논문 리뷰] Speeding up Word Mover's Distance and its variants via properties of distances between embeddings

Matheus Werner, Eduardo Sany Laber|arXiv (Cornell University)|2019. 12. 01.

Topic Modeling참고 문헌 20인용 수 11

한 줄 요약

이 논문은 단어 임베딩 간의 거리가 두 그룹으로 군집되는 경험적 성질을 활용하여 워드 무버 거리(WMD) 및 그 완화된 변형(RWMD)을 가속화하는 새로운 방법을 제안한다. 즉, 의미적으로 관련된 단어들 간의 거리는 작고, 관련이 없는 단어들 간의 거리는 일정한 값이다. 이 구조를 모델링함으로써 계산 복잡도와 메모리 사용량을 감소시켜, 10개의 데이터셋에서 분류 정확도에 손실 없이 최대 15배의 속도 향상을 달성한다.

ABSTRACT

The Word Mover's Distance (WMD) proposed by Kusner et al. is a distance between documents that takes advantage of semantic relations among words that are captured by their embeddings. This distance proved to be quite effective, obtaining state-of-art error rates for classification tasks, but is also impracticable for large collections/documents due to its computational complexity. For circumventing this problem, variants of WMD have been proposed. Among them, Relaxed Word Mover's Distance (RWMD) is one of the most successful due to its simplicity, effectiveness, and also because of its fast implementations. Relying on assumptions that are supported by empirical properties of the distances between embeddings, we propose an approach to speed up both WMD and RWMD. Experiments over 10 datasets suggest that our approach leads to a significant speed-up in document classification tasks while maintaining the same error rates.

연구 동기 및 목표

• 대규모 문서 분류에서 워드 무버 거리(WMD) 및 그 변형의 높은 계산 비용을 해결하기 위해.
• 단어 임베딩 거리의 구조적 성질을 활용하여 메모리 사용량을 줄이고 거리 계산 속도를 향상시키기 위해.
• 실행 시간 효율성을 크게 향상시키면서도 최신 기준의 분류 성능을 유지하기 위해.
• 실제 응용에서 빠른 문서 유사도 계산이 필요한 워드 무버 거리 유사 거리의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 단어 임베딩 간의 거리가 두 개의 명확한 그룹으로 나뉘는 것을 가정한다: 관련된 단어들 간에는 작은 값, 관련이 없는 단어들 간에는 일정한 값.
• 이 두 그룹 가정을 바탕으로 WMD와 RWMD의 운반 문제를 재구성하여 비제로 간선 비용의 수를 감소시킨다.
• 큰 어휘를 대상으로 하는 클러스터링 기반 캐시 구축을 제안하며, k-means를 사용해 임베딩을 그룹화하고 사전에 거리를 계산한다.
• 전체 어휘 쌍이 아닌 클러스터 수에 비례하는 크기의 작고 효율적인 캐시를 사용하는 Rel-RWMD(S)라는 변형을 제안한다.
• 각 단어가 고려하는 관련 단어의 수를 제어하는 파라미터 $ r $ 를 도입하여 속도와 정확도 사이의 트레이드오���을 가능하게 한다.
• 캐시를 활용한 선형 시간 구현을 통해 RWMD를 최적화하며, 클러스터링을 통해 사전 처리 및 저장 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 단어 임베딩 간의 거리 분포를 활용하여 WMD와 RWMD의 복잡도를 낮출 수 있는가?
• RQ2 관련이 없는 단어 쌍에 대해 일정한 거리를 가정하는 것이 분류 정확도를 유지하면서 더 빠른 계산을 가능하게 하는가?
• RQ3 임베딩을 클러스터링하고 관련 거리만 캐시함으로써 메모리 사용량과 계산 시간을 얼마나 줄일 수 있는가?
• RQ4 실제 문서 분류 작업에서 제안된 방법이 표준 WMD와 RWMD에 비해 속도와 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 한 분류 작업에서는 RWMD 대비 약 5배, 다른 작업에서는 15배 빠른 평균 속도 향상을 달성했으며, 테스트 오차에 변화가 없었다.
• Arxiv 데이터셋에서는 Rel-RWMD(S)가 RWMD(S)보다 27배 빠르며, 테스트 오차는 23.16%로 RWMD(S)의 23.43%보다 낮았다.
• Wikipedia 데이터셋에서는 Rel-RWMD(S)가 RWMD(S)보다 3배 빠르며, 테스트 오차는 26.90%로 RWMD(S)의 27.01%보다 낮았다.
• Rel-RWMD(S)의 사전 처리 단계가 런타임을 지배하지만, 캐시가 구축된 후에는 RWMD(S) 대비 25~60배 빠른 거리 계산이 가능했다.
• 모든 데이터셋에서 최상의 베이스라인과 0.5% 이내의 테스트 오차를 기록하며 경쟁 가능한 성능을 유지했다.
• 특히 큰 어휘를 가진 경우에 유리하게, 전체 쌍 거리가 아닌 클러스터 기반 거리만 캐시함으로써 메모리 사용량을 크게 감소시켰다.