[논문 리뷰] Topological Data Analysis in Text Classification: Extracting Features with Additive Information

Shafie Gholizadeh, Ketki Savle외 2명|arXiv (Cornell University)|2020. 03. 29.

Topological and Geometric Data Analysis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 텍스트에서 위상적 특징을 추출하기 위해 두 가지 새로운 방법을 제안한다: 하나는 단어 임베딩을 고차원 시간 시리즈로 간주하고 다른 하나는 텍스트 블록의 TF-IDF 벡터를 영구 호몰로지로 분석한다. 결과적으로 기존 모델에 이러한 특징을 추가함으로써 F1 점수에서 최대 5.1% 향상됨을 보여주며, 이는 TDA가 텍스트 데이터에서 독립적이고 중복되지 않는 정보를 포착할 수 있음을 시사한다.

ABSTRACT

While the strength of Topological Data Analysis has been explored in many studies on high dimensional numeric data, it is still a challenging task to apply it to text. As the primary goal in topological data analysis is to define and quantify the shapes in numeric data, defining shapes in the text is much more challenging, even though the geometries of vector spaces and conceptual spaces are clearly relevant for information retrieval and semantics. In this paper, we examine two different methods of extraction of topological features from text, using as the underlying representations of words the two most popular methods, namely word embeddings and TF-IDF vectors. To extract topological features from the word embedding space, we interpret the embedding of a text document as high dimensional time series, and we analyze the topology of the underlying graph where the vertices correspond to different embedding dimensions. For topological data analysis with the TF-IDF representations, we analyze the topology of the graph whose vertices come from the TF-IDF vectors of different blocks in the textual document. In both cases, we apply homological persistence to reveal the geometric structures under different distance resolutions. Our results show that these topological features carry some exclusive information that is not captured by conventional text mining methods. In our experiments we observe adding topological features to the conventional features in ensemble models improves the classification results (up to 5\%). On the other hand, as expected, topological features by themselves may be not sufficient for effective classification. It is an open problem to see whether TDA features from word embeddings might be sufficient, as they seem to perform within a range of few points from top results obtained with a linear support vector classifier.

연구 동기 및 목표

• 위상적 데이터 분석(TDA)이 단어 임베딩과 TF-IDF 벡터와 같은 텍스트 표현에서 의미 있고 중복되지 않는 특징을 추출할 수 있는지 조사하기.
• 단어 임베딩을 고차원 시간 시리즈로 간주하여 순서적이고 의미적인 구조를 유지함으로써 위상 분석에 적합한 방법을 개발하기.
• 기존 특징과 결합했을 때 TDA로부터 유도된 위상적 특징이 텍스트 분류 성능을 향상시키는지 평가하기.
• TDA가 기존 자연어 처리 방법이 포착하지 못하는 텍스트 내 기하학적 불변성을 포착할 잠재력을 탐색하기.
• 특히 짧은 문서와 해석 가능성 문제에 있어서 TDA를 텍스트에 적용할 때의 한계와 열린 문제를 규명하기.

제안 방법

• 첫 번째 방법은 문서의 단어 임베딩 시퀀스를 고차원 시간 시리즈로 변환하며, 각 임베딩 차원을 시간 포인트로 간주하고 영구 호몰로지를 적용하여 유도된 위상적 구조를 분석한다.
• 두 번째 방법은 문서를 고정된 크기의 블록으로 나누고, 각 블록에 대해 TF-IDF 벡터를 계산하며, 노드가 블록이고 간선이 거리 임계값에 기반한 그래프를 구성한 후 영구 호몰로지를 적용하여 위상적 특징을 추출한다.
• 영구 다이어그램에서 위상적 특징을 추출하며, 차원 0과 1에서의 생애 및 사망 지름, 그 유도량(예: 구멍 수, 사망 지름의 평균과 표준편차의 비율) 및 지속성 지표를 포함한다.
• 위상적 특징은 기존 특징(예: TF-IDF, 단어 임베딩)과 결합되어 앙상블 모델에서 텍스트 분류 성능 향상을 평가하기 위해 사용된다.
• 분석은 다양한 거리 임계값에서 안정적인 위상적 특징, 즉 연결 성분(β₀)과 고리(β₁)를 탐지하기 위해 영구 호몰로지를 사용한다.
• 표준 자연어 처리 데이터셋을 사용하여 문서 분류 작업에 적용하며, 정밀도, 재현도 및 F1 점수로 평가한다.

실험 결과

연구 질문

• RQ1 시간 시리즈 해석을 통해 단어 임베딩에서 추출한 위상적 특징이 기존 특징을 초월해 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 TF-IDF 블록 표현의 위상 분석이 분류 성능 향상에 기여하는 기하학적 구조를 드러낼 수 있는가?
• RQ3 위상적 특징이 기존 텍스트 마이닝 방법이 포착하지 못하는 독립적인 정보를 담고 있는가?
• RQ4 기존 특징과 결합했을 때 위상적 특징이 앙상블 모델의 성능 향상에 어느 정도 기여하는가?
• RQ5 짧거나 저맥락 문서에서 TDA 기반 특징의 한계는 무엇인가?

주요 결과

• 기존 모델에 단어 임베딩이나 TF-IDF 표현에서 추출한 위상적 특징을 추가함으로써 F1 점수가 최대 5.1% 향상되었다.
• 앙상블 모델에 위상적 특징을 추가했을 때 정밀도는 0.5% 향상되고 재현도는 4.9% 향상되었다.
• 위상적 특징만으로는 강력한 분류 성능를 달성하지 못했으며, 이는 위상적 특징이 독립적으로 사용하기보다는 보완적인 역할을 한다는 것을 시사한다.
• 임베딩을 시간 시리즈로 간주하는 방법은 단어 순서를 유지하고 다양한 길이의 문서에서 효과적으로 작동하였다.
• 짧은 텍스트에서는 위상적 구조가 불안정하여, 저맥락 또는 짧은 문서 상황에서의 한계를 시사한다.
• 영구 다이어그램은 안정적인 위상 서명, 즉 고리와 연결 성분을 드러내어 텍스트 표현 내 잠재된 기하학적 구조가 존재함을 시사한다.