[논문 리뷰] $k$-Nearest Neighbor Augmented Neural Networks for Text Classification

Zhiguo Wang, Wael Hamza외 1명|arXiv (Cornell University)|2017. 08. 25.

Topic Modeling참고 문헌 21인용 수 12

한 줄 요약

이 논문은 입력 텍스트의 k-가장 가까운 이웃(kNN)으로부터의 인스턴스 수준 정보를 외부 메모리로 통합함으로써 텍스트 분류를 위한 kNN 증강 신경망을 제안한다. 모델은 신경망 임베딩과 주의 가중치를 적용한 kNN 특징을 조합하여 강력한 베이스라인보다 정확도를 향상시키며, 특히 데이터 부족 및 클래스 불균형 상황에서 뛰어난 성능을 보이며, 여러 벤치마크에서 29층의 깊은 네트워크를 능가한다.

ABSTRACT

In recent years, many deep-learning based models are proposed for text classification. This kind of models well fits the training set from the statistical point of view. However, it lacks the capacity of utilizing instance-level information from individual instances in the training set. In this work, we propose to enhance neural network models by allowing them to leverage information from $k$-nearest neighbor (kNN) of the input text. Our model employs a neural network that encodes texts into text embeddings. Moreover, we also utilize $k$-nearest neighbor of the input text as an external memory, and utilize it to capture instance-level information from the training set. The final prediction is made based on features from both the neural network encoder and the kNN memory. Experimental results on several standard benchmark datasets show that our model outperforms the baseline model on all the datasets, and it even beats a very deep neural network model (with 29 layers) in several datasets. Our model also shows superior performance when training instances are scarce, and when the training set is severely unbalanced. Our model also leverages techniques such as semi-supervised training and transfer learning quite well.

연구 동기 및 목표

• 표준 신경망이 강력한 통계적 일반화 능력을 지니고 있음에도 불구하고 개별 학습 예제로부터의 인스턴스 수준 정보를 포착하는 데에 한계가 있음에 대비하여 대응한다.
• 심화된 신경망이 훈련 데이터에서 'IBM'과 'Sci/Tech' 사이에 강하게 연관된 허구적 단어 수준 신호로 인해 발생하는 오분류를 수정하지 못하는 문제를 해결한다.
• 비모수적 kNN 기반의 인스턴스 수준 지식을 모수적 신경망 학습과 통합하여 예측의 강건성을 향상시킨다.
• 저데이터 환경, 클래스 불균형 상황, 전이/준지도 학습 시나리오에서의 효과성을 입증한다.

제안 방법

• 입력 텍스트와 그 훈련 세트로부터의 k-가장 가까운 이웃(kNN)을 공유 임베딩 공간에 매핑하기 위해 신경망 인코더를 사용한다.
• 각 입력의 kNN을 외부 메모리로 간주하고, 입력에 대한 관련성에 따라 각 이웃을 가중치 부여하기 위해 다중 시점 주의 메커니즘을 적용한다.
• kNN 이웃들에 대한 주의 가중치를 기반으로 주의 기반 kNN 레이블 분포와 주의 기반 kNN 텍스트 임베딩을 계산한다.
• 최종 예측을 위해 세 가지 특징을 조합한다: 입력 텍스트 임베딩, 주의 기반 kNN 레이블 분포, 주의 기반 kNN 텍스트 임베딩.
• 다른 데이터셋(예: DBPedia)의 kNN을 외부 메모리로 사용하여 타겟 작업(예: AG’s News)에 대해 준지도 학습 및 전이 학습을 가능하게 한다.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련함으로써 인코더와 주의 가중치를 함께 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 표준 모델이 허구적 단어 수준의 연관성으로 인해 실패할 때, kNN 기반의 인스턴스 수준 정보를 통합함으로써 신경망 모델의 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 표준, 저데이터, 불균형 훈련 조건 하에서 제안된 kNN 증강 모델은 강력한 베이스라인 및 깊은 네트워크(예: 29층 네트워크)와 비교해 어떻게 성능을 내는가?
• RQ3 다른 데이터셋에서 온 외부 kNN 메모리를 활용한 준지도 학습 및 전이 학습 설정에서 kNN 증강 모델이 얼마나 유의미한 이점을 얻을 수 있는가?
• RQ4 kNN 이웃들에 대한 주의 메커니즘이 통계적 편향으로 인한 오류를 수정하는 데 효과적으로 관련된 학습 인스턴스를 검색하는가?

주요 결과

• 제안된 모델은 AG’s News, DBPedia, 20 Newsgroups를 포함한 모든 표준 벤치마크 데이터셋에서 BiLSTM 베이스라인을 능가한다.
• 일부 데이터셋에서는 매우 깊은 29층 신경망을 초월하는 성능을 보이며, 깊이만으로는 부족한 인스턴스 수준의 메모리가 중요한 가치를 지닌다는 것을 입증한다.
• 데이터 부족 상황에서도 뛰어난 성능을 보이며, 훈련 인스턴스가 제한된 상황에서도 높은 정확도를 유지한다.
• 불균형 데이터셋에서의 성능 향상이 두드러지며, 지배적 클래스 편향으로 인한 오분류를 수정한다.
• 준지도 학습 환경에서는 DBPedia 데이터셋의 kNN을 외부 메모리로 사용함으로써 BiLSTM 베이스라인을 능가하는 성능 향상을 달성한다.
• 전이 학습 환경에서는 레이블 정의가 다를 수 있는 다른 작업(DBPedia)의 kNN을 활용함으로써 AG’s News에서의 성능 향상이 이루어지며, 이는 모델의 강건성과 일반화 능력을 보여준다.