[논문 리뷰] ClassiNet -- Predicting Missing Features for Short-Text Classification

Danushka Bollegala, Vincent Atanasov외 2명|arXiv (Cornell University)|2018. 01. 01.

Topic Modeling참고 문헌 1인용 수 1

한 줄 요약

ClassiNet는 짧은 텍스트에서 누락된 특징을 예측하기 위해 특징 간 조건부 공존 확률을 모델링하는 방향성 및 가중치가 부여된 이진 특징 예측자 그래프이다. 비라벨 데이터를 활용해 특징 예측자를 훈련하고, 그래프 기반 전파를 통해 특징을 확장함으로써 외부 자원 없이도 단순 텍스트 분류 정확도를 크게 향상시킨다. 기준 데이터셋에서 Skip-thought 및 FastSent와 같은 기존 방법들을 능가한다.

ABSTRACT

The fundamental problem in short-text classification is \emph{feature sparseness} -- the lack of feature overlap between a trained model and a test instance to be classified. We propose \emph{ClassiNet} -- a network of classifiers trained for predicting missing features in a given instance, to overcome the feature sparseness problem. Using a set of unlabeled training instances, we first learn binary classifiers as feature predictors for predicting whether a particular feature occurs in a given instance. Next, each feature predictor is represented as a vertex $v_i$ in the ClassiNet where a one-to-one correspondence exists between feature predictors and vertices. The weight of the directed edge $e_{ij}$ connecting a vertex $v_i$ to a vertex $v_j$ represents the conditional probability that given $v_i$ exists in an instance, $v_j$ also exists in the same instance. We show that ClassiNets generalize word co-occurrence graphs by considering implicit co-occurrences between features. We extract numerous features from the trained ClassiNet to overcome feature sparseness. In particular, for a given instance $\vec{x}$, we find similar features from ClassiNet that did not appear in $\vec{x}$, and append those features in the representation of $\vec{x}$. Moreover, we propose a method based on graph propagation to find features that are indirectly related to a given short-text. We evaluate ClassiNets on several benchmark datasets for short-text classification. Our experimental results show that by using ClassiNet, we can statistically significantly improve the accuracy in short-text classification tasks, without having to use any external resources such as thesauri for finding related features.

연구 동기 및 목표

• 학습 및 테스트 인스턴스 간 어휘 겹침이 적어 모델 성능에 악영향을 미치는 짧은 텍스트 분류에서의 특징 희소성 문제를 해결하기 위해.
• 사전 자료원(예: 동의어 사전)에 의존하지 않고도 짧은 텍스트에서 누락되었지만 관련성이 높은 특징을 예측할 수 있는 방법을 개발하기 위해.
• 직접적인 단어 공존 외에 암묵적인 특징 간 공존 관계를, 비라벨 데이터에서 유도한 조건부 확률을 통해 모델링하기 위해.
• 학습된 네트워크 내에서 국소적 및 전역적 그래프 전파를 통해 특징 표현을 확장함으로써 분류 정확도를 향상시키기 위해.

제안 방법

• 비라벨 데이터에서 양성 인스턴스(특징이 존재하는 경우)와 부정성 인스턴스(특징이 존재하지 않는 경우)를 선택해 각 특징에 대해 이진 분류기(특징 예측자)를 훈련한다.
• 각 정점이 특징 예측자를 나타내고, 간선 가중치가 한 특징이 다른 특징이 존재할 조건부 확률을 나타내는 방향성 및 가중치가 부여된 그래프(ClassiNet)를 구성한다.
• 이웃 계산을 효율적으로 근사하기 위해 국소성에 민감한 해싱을 사용하여 전체 쌍방향 혼동 행렬 계산을 피한다.
• 두 가지 특징 확장 전략을 적용한다: (1) 모든 이웃 확장은 활성 특징의 모든 이웃을 추가하고, (2) 전역 특징 확장은 감쇠 인자(γ)를 사용해 다중 스텝 전파를 수행한다.
• 감쇠 인자 γ는 전역 전파에서 먼 이웃의 영향을 조절하며, 최적의 성능는 γ = 0.8에서 관찰된다.
• 확장된 특징을 원본 특징 벡터에 통합하여 분류 이전에 희소 표현을 풍부하게 한다.

실험 결과

연구 질문

• RQ1 학습된 특징 예측자 네트워크가 짧은 텍스트에서 누락된 특징을 효과적으로 예측하여 특징 희소성 문제를 완화할 수 있는가?
• RQ2 직접적인 공존 또는 단어 임베딩 방법과 비교해 조건부 확률을 통해 암묵적 공존 관계를 모델링하면 분류 성능이 향상되는가?
• RQ3 다중 스텝을 거쳐 간접적 관계를 고려하는 전역 특징 확장은 국소적 확장과 비교해 정확도와 내성에 얼마나 뛰어난가?
• RQ4 ClassiNet은 동의어 사전이나 사전 학습된 임베딩과 같은 외부 자원 없이도 분류 정확도를 향상시킬 수 있는가?

주요 결과

• ClassiNet는 짧은 텍스트 데이터셋에서 분류 정확도를 크게 향상시키며, 전역 특징 확장이 국소적 확장 및 SCL, FTS, Skip-thought, FastSent, Paragraph2Vec와 같은 기준 방법들을 모두 능가한다.
• 전역 특징 확장에서 최적의 감쇠 인자 γ = 0.8가 가장 높은 정확도를 보이며, 이 값 이외에서는 성능이 저하된다.
• 전역 특징 확장은 특징 벡터 크기를 평균 25~30배로 증가시키지만, 모든 이웃 확장은 오직 1.5~2.5배로 증가하여 더 넓은 특징 탐색이 가능함을 시사한다.
• ClassiNet는 매우 밀도 높은 구조를 이루며, 평균 출력 차수는 263.35이며, 대부분의 정점이 240~300개의 다른 정점과 연결되어 있다.
• ClassiNet를 통한 특징 확장은 원본 텍스트에 존재하지 않는 의미적으로 관련된 특징을 성공적으로 식별한다. 예를 들어, 'iPhone 6'을 언급한 리뷰에 대해 'iPhone 6 plus'가 제안된다.
• 이 방법은 외부 지식이나 사전 학습된 임베딩을 요구하지 않으며, 다양한 기준 데이터셋에서 통계적으로 유의미한 정확도 향상을 달성한다.