[논문 리뷰] Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop

Katherine Bailey, Sunny Chopra|arXiv (Cornell University)|2018. 04. 05.

Topic Modeling참고 문헌 3인용 수 6

한 줄 요약

이 논문은 사전 훈련된 단어 임베딩과 코사인 유사도를 사용하여 한 명 또는 두 명의 인간 레이블 예제로 카테고리당 한 개 또는 두 개의 예제만으로 전체 문서 배치를 분류하는 인간이 개입하는 소수 샘플 텍스트 분류 방법을 제안한다. LDA를 활용하여 주제를 추론하고 TF-IDF 가중치를 적용한 평균 단어 임베딩을 사용함으로써, 소규모이고 명확히 구분되는 카테고리 데이터셋에서 최대 97%의 정확도를 달성하여 자원이 제한된 분류 작업의 가능성을 입증한다.

ABSTRACT

Most of the literature around text classification treats it as a supervised learning problem: given a corpus of labeled documents, train a classifier such that it can accurately predict the classes of unseen documents. In industry, however, it is not uncommon for a business to have entire corpora of documents where few or none have been classified, or where existing classifications have become meaningless. With web content, for example, poor taxonomy management can result in labels being applied indiscriminately, making filtering by these labels unhelpful. Our work aims to make it possible to classify an entire corpus of unlabeled documents using a human-in-the-loop approach, where the content owner manually classifies just one or two documents per category and the rest can be automatically classified. This "few-shot" learning approach requires rich representations of the documents such that those that have been manually labeled can be treated as prototypes, and automatic classification of the rest is a simple case of measuring the distance to prototypes. This approach uses pre-trained word embeddings, where documents are represented using a simple weighted average of constituent word embeddings. We have tested the accuracy of the approach on existing labeled datasets and provide the results here. We have also made code available for reproducing the results we got on the 20 Newsgroups dataset.

연구 동기 및 목표

• 레이블이 거의 없거나 전혀 없는 산업 환경에서 대규모 비라벨링 문서 코퍼스를 분류하는 데 도전하는 것.
• 소수 샘플 학습과 인간이 개입하는 카테고리 대표자 선택을 통해 최소한의 인간 레이블링으로 정확한 텍스트 분류를 가능하게 하는 것.
• 사전 훈련된 단어 임베딩과 LDA 기반 주제 모델링이 소수 샘플 분류를 위한 고품질의 카테고리 프로토타입을 식별하는 데 얼마나 효과적인지 평가하는 것.
• 이 방법이 네 개 이상의 카테고리가 포함된 데이터셋에 적용되었을 때의 확장성과 한계를 탐색하는 것.
• 미래 연구에서 가이드된 또는 신경 기반 주제 모델을 사용하여 프로토타입 선택을 위한 주제 추론을 향상시키는 것.

제안 방법

• TF-IDF를 사용하여 빈도가 높은 단어를 가중치를 낮추고, 사전 훈련된 단어 임베딩의 가중 평균을 사용하여 문서를 임베딩한다.
• 각 배치에 대해 잠재 디리클레 분할(LDA)을 적용하여 각 카테고리의 대표 문서를 식별하고, 이를 인간 사용자에게 제시한다.
• 사용자가 카테고리당 한 개 또는 두 개의 문서를 수동으로 레이블링하고, 그들의 임베딩을 평균하여 카테고리 프로토타입 벡터를 형성한다.
• 비라벨링 문서는 그들의 임베딩과 각 카테고리 프로토타입 간의 코사인 유사도를 계산하여 가장 가까운 매칭을 할당함으로써 분류된다.
• 시스템은 문서 임베딩에 대해 주성분 분석(PCA)을 사용하지만, 실험 결과 단순 평균화보다 정확도 향상이 거의 없음을 확인했다.
• 이 방법은 20 Newsgroups와 DBPedia 서브셋에서 평가되었으며, 소규모 서브셋에서의 최대 달성 가능한 정확도를 확보하기 위해 브루트 포스 테스트가 사용되었다.

실험 결과

연구 질문

• RQ1 카테고리당 단 한두 개의 인간 레이블링 예제만으로 소수 샘플 텍스트 분류 시스템이 높은 정확도를 달성할 수 있는가?
• RQ2 LDA는 고품질의 카테고리 프로토타입이 되는 대표 문서를 식별하는 데 얼마나 효과적인가?
• RQ3 TF-IDF 가중치를 적용한 사전 훈련된 단어 임베딩과 코사인 유사도를 사용하면 소수 샘플 환경에서 경쟁 가능한 분류 성능을 낼 수 있는가?
• RQ4 네 개 또는 다섯 개 이상의 카테고리가 포함된 데이터셋에 적용했을 때 이 방법의 한계는 무엇인가?
• RQ5 미래 연구에서 가이드된 또는 신경 기반 주제 모델을 사용하여 주제 추론 단계를 향상시켜 프로토타입 선택을 더 잘 지원할 수 있는가?

주요 결과

• 최적의 카테고리 대표자들이 선택된 경우, DBPedia 데이터셋의 4개 카테고리 서브셋에서 최대 97%의 정확도를 달성했다.
• LDA는 많은 경우에 좋은 대표 문서를 식별하는 데 효과적이었지만, 성능은 변동이 있었고 때로는 주제를 명확히 분리하지 못했다.
• 문서 임베딩에 대해 PCA를 사용했지만, 단순한 단어 임베딩 평균화보다 정확도 향상이 거의 없었다.
• 단어 사용이 명확하게 클래스를 구분하는 2~3개의 명확한 카테고리가 포함된 데이터셋에서 이 방법이 가장 잘 작동했다.
• 대립어휘가 주제에 대한 서로 다른 입장을 반영하는 경우, 이 방법은 이진 분류 작업(예: 입장 탐지)에 있어 잠재력을 보였다.
• 향후 향상은 가이드된 LDA, 가우시안 LDA, 또는 ProdLDA와 같은 신경 주제 모델을 통해 주제 추론을 강화함으로써 기대할 수 있다.