[논문 리뷰] Semantic Document Distance Measures and Unsupervised Document Revision Detection

Xiaofeng Zhu, Diego Klabjan외 1명|arXiv (Cornell University)|2017. 09. 05.

Web Data Mining and Analysis참고 문헌 7인용 수 3

한 줄 요약

이 논문은 비지도 학습 문서 수정 검출을 향상시키기 위해 두 가지 새로운 의미적 문서 거리 측정 방법, 즉 단어 벡터 기반 동적 시간 왜곡(wDTW)과 단어 벡터 기반 트리 편집 거리(wTED)를 제안한다. word2vec 임베딩을 활용하고, Apache Spark를 사용해 수정 검출을 최소 비용 분기 문제로 모델링함으로써, 기존의 최고 수준의 방법들인 워드 무버스 거리(WMD)보다 높은 정밀도와 재현율을 달성하면서도 대규모 코퍼스에서 계산 시간을 크게 단축시켰다.

ABSTRACT

In this paper, we model the document revision detection problem as a minimum cost branching problem that relies on computing document distances. Furthermore, we propose two new document distance measures, word vector-based Dynamic Time Warping (wDTW) and word vector-based Tree Edit Distance (wTED). Our revision detection system is designed for a large scale corpus and implemented in Apache Spark. We demonstrate that our system can more precisely detect revisions than state-of-the-art methods by utilizing the Wikipedia revision dumps https://snap.stanford.edu/data/wiki-meta.html and simulated data sets.

연구 동기 및 목표

• 기존의 문서 유사도 측정 방법—예를 들어, 지문법, 레벤슈타인 거리, VSM—이 의미를 잘 포착하지 못하고 스케일링에 어려움을 겪는 점을 해결하기 위해.
• 기존의 방법들인 WMD보다 정확성과 효율성 면에서 뛰어나며, 대규모 수정 검출에 적합한 확장 가능한 의미 인식 문서 거리 측정 방법을 개발하기 위해.
• 문서 거리 점수를 간의 가중치로 사용해 문서 수정 검출을 최소 비용 분기 문제로 모델링함으로써, 네트워크 기반의 수정 관계 추론을 효율적으로 수행하기 위해.
• 위키백과 수정 덤프와 시뮬레이션 데이터셋을 대상으로 시스템을 구현하고 평가함으로써, 실제 환경에서의 강건성과 확장성의 타당성을 입증하기 위해.

제안 방법

• 정적 단어 표현을 대체하기 위해 의미를 잘 반영하는 사전 학습된 word2vec 임베딩을 사용해 단어를 표현한다.
• 단어 벡터 유사도를 기본 거리 측정 기준으로 삼아, 문단 수준의 표현을 비교함으로써 문서 거리를 계산하며, 이는 동적 시간 왜곡(DTW)과 트리 편집 거리(TED)를 활용한다.
• 노드가 문서이고 간의 가중치가 의미적 거리인 방향 그래프에서 최소 비용 분기 문제로 문서 수정 검출을 모델링한다.
• 문서 거리 계산을 문단 수준 비교로 분할하고, Apache Spark를 사용해 처리를 분산함으로써 병렬 처리와 확장성을 확보한다.
• 문단 수준 유사도를 계산하기 위해 새로운 거리 함수 DistPara를 도입하여, 문단 벡터 간 유클리드 거리보다 더 높은 정확도를 달성한다.
• 최소 분기 알고리즘을 적용해 최적의 수정 네트워크를 추론함으로써, 대규모 코퍼스에서 가장 가능성이 높은 수정 이력을 식별한다.

실험 결과

연구 질문

• RQ1 단어 임베딩 기반의 의미적 문서 거리 측정 방법이 기존의 전통적 방법들보다 비지도 문서 수정 검출의 정확도를 향상시킬 수 있는가?
• RQ2 대규모 문서 코퍼스에서 wDTW와 wTED는 워드 무버스 거리(WMD), VSM, PV 기반 방법들과 비교해 성능과 효율성 면에서 어떻게 다른가?
• RQ3 최소 비용 분기 공식이 감독 없이 문서 유사도 점수로부터 수정 네트워크를 효과적으로 재구성할 수 있는가?
• RQ4 Apache Spark에서 병렬 처리를 통해 문단 수준에서 거리를 계산하면, 실행 시간을 크게 단축시키면서도 높은 정확도를 유지할 수 있는가?
• RQ5 코퍼스 크기와 수정 체인 길이가 증가함에 따라 wDTW와 wTED는 어떻게 성능을 보이는가?

주요 결과

• wDTW는 위키백과 수정 덤프에서 가장 높은 F-측정치(0.85)를 기록했으며, 정밀도와 재현율 면에서 WMD, VSM, PV 기반 방법들을 일관되게 능가했다.
• wTED는 wDTW 대비 14% 빠른 런타임을 기록하여 높은 정확도를 유지하면서도 더 효율적인 대안이 되었다.
• 시뮬레이션 데이터셋에서 wDTW는 코퍼스 크기가 증가함에 따라 안정적인 성능을 유지했지만, WMD와 VSM은 성능 저하가 더 빠르게 나타났다.
• wDTW와 wTED는 WMD 대비 실행 시간을 90% 이상 단축시켰으며, 위키백과 덤프에서 WMD는 515시간이 소요되었지만 wDTW는 13시간 27분 만에 완료되었다.
• DistPara 거리 함수는 문단 벡터 간 유클리드 거리보다 더 높은 정확도를 달성했으며, 비교 실험에서 더 높은 F-측정치로 이를 입증했다.
• Apache Spark를 통해 시스템은 효과적으로 확장되었으며, 대규모 코퍼스에서 WMD가 며칠이 소요되던 것을 wDTW는 몇 시간 내로 단축시켰다.