[논문 리뷰] Re-evaluating Word Mover's Distance

Ryoma Sato, Makoto Yamada외 1명|arXiv (Cornell University)|2021. 05. 30.

Topic Modeling참고 문헌 86인용 수 11

한 줄 요약

이 논문은 워드 무버의 거리(Word Mover's Distance, WMD)를 재평가하며, 기존의 BOW 및 TF-IDF와 같은 전통적 기준보다 WMD가 뛰어나다고 보고된 성능 향상은 주로 정규화 방식의 차이 때문임을 보여준다. 저자들은 L1 정규화를 적용할 경우 WMD의 성능이 BOW 및 TF-IDF와 유사해지며, 고차원 공간에서 WMD와 L1 정규화된 BOW 사이에 강력한 유사성 관계를 규명함으로써 WMD가 본질적으로 우월한 방법이라는 인식에 도전한다.

ABSTRACT

The word mover's distance (WMD) is a fundamental technique for measuring the similarity of two documents. As the crux of WMD, it can take advantage of the underlying geometry of the word space by employing an optimal transport formulation. The original study on WMD reported that WMD outperforms classical baselines such as bag-of-words (BOW) and TF-IDF by significant margins in various datasets. In this paper, we point out that the evaluation in the original study could be misleading. We re-evaluate the performances of WMD and the classical baselines and find that the classical baselines are competitive with WMD if we employ an appropriate preprocessing, i.e., L1 normalization. In addition, we introduce an analogy between WMD and L1-normalized BOW and find that not only the performance of WMD but also the distance values resemble those of BOW in high dimensional spaces.

연구 동기 및 목표

• 원래 WMD 논문에서 보고된 바와 같이 WMD와 BOW, TF-IDF와 같은 전통적 기준 간의 성능 격차를 재해석하기 위해.
• WMD가 보고한 성능 향상 요인이 메소드 논리적 차이, 특히 정규화 기법에 기인한 것인지 조사하기 위해.
• WMD의 기본 메커니즘을 L1 정규화된 BOW와의 형식적 유사성으로 규명하기 위해.
• 특히 정규화 및 데이터셋 특화 편향과 관련된 원래 WMD 평가에서의 오해를 명확히 하기 위해.
• 일致한 전처리를 적용하여 재실행한 실험을 통해 WMD에 대한 더 정확한 벤치마크를 제공하기 위해.

제안 방법

• 저자들은 공정한 비교를 위해 L1 정규화를 적용하여 WMD와 전통적 기준(BOW, TF-IDF)을 재실행한다.
• WMD와 L1 정규화된 BOW 사이의 이론적 유사성을 수립하며, 특정 조건 하에서 WMD가 L1 정규화된 BOW와 동치가 되는 것을 보여준다.
• 일致한 전처리를 적용하여 여러 데이터셋(bbcSport, reuters, ohsumed 등)에서 kNN 기반 문서 분류 실험을 광범위하게 수행한다.
• 고차원 단어 임베딩 공간에서 단어 간 거리 분포를 분석하여 정규분포가 아닌 이중체 분포임을 발견한다.
• 일치 및 불일치하는 단어 쌍 간의 거리 값을 WMD와 L1 정규화된 BOW 간 비교하여, 거리 행동에서 강력한 유사성을 보인다.
• 단어 임베딩을 비용 행렬로 사용하여 최적 운반 이론 공식을 적용하고, 문서 분포 간 최소 운반 비용으로 지구 이동 거리를 계산한다.

실험 결과

연구 질문

• RQ1 WMD가 BOW 및 TF-IDF보다 뛰어나다고 보고된 성능 우위가 양자 모두가 일致한 정규화를 거친 후에도 유지되는가?
• RQ2 원래 평가에서 WMD가 우월하게 보이는 데에 기여하는 근본적 메커니즘은 무엇인가?
• RQ3 여러 데이터셋에서 WMD와 L1 정규화된 BOW의 거리 값 및 분류 성능은 어떻게 비교되는가?
• RQ4 원래 WMD 평가에서 TF-IDF가 BOW보다 열등한 성능을 보인 이유는 정규화 문제인지, 데이터셋 특화 문제인지?
• RQ5 고차원 단어 임베딩이 WMD가 L1 정규화된 BOW와 유사하게 행동하도록 만드는 정도는 어느 정도인가?

주요 결과

• L1 정규화를 적용하면 WMD의 성능이 BOW 및 TF-IDF와 유사해지며, 보고된 성능 격차는 뿐만 아니라 2–8%의 개선 수준으로 감소한다.
• 원래 WMD 평가에서는 정규화가 일致하지 않아 WMD의 우월성이 과대평가되었으며, 특히 기준 방법에서 L1 정규화가 적용되지 않은 점이 원인이다.
• 고차원 공간에서 WMD와 L1 정규화된 BOW는 거의 동일한 거리 값을 생성하며, 이는 WMD의 우월성이 의미 체계 기하학 때문이 아니라 정규화 때문임을 시사한다.
• WMD에서 단어 간 거리 분포는 정규분포가 아니라 이중체 분포임을 확인하였으며, 이는 WMD가 소수의 고유사도 단어 쌍에 의존하고 있음을 의미한다.
• 적절히 정규화된 경우 TF-IDF는 원래 BOW보다 우수한 성능을 보이며, 원래 WMD 논문에서 TF-IDF가 여러 데이터셋에서 BOW보다 열등하다고 보고한 바와는 정반대이다.
• 정규화를 일致하게 적용할 경우 WMD가 전통적 기준을 뛰어나게 성능을 내지 못함을 확인하였으며, 이는 WMD가 본질적으로 열등한 방법이 아니라는 기존의 인식에 도전한다.