[논문 리뷰] Joint Embedding of Words and Labels for Text Classification

Guoyin Wang, Chunyuan Li외 6명|arXiv (Cornell University)|2018. 05. 10.

Topic Modeling참고 문헌 34인용 수 45

한 줄 요약

LEAM은 단어와 레이블을 공유 공간에 임베딩하고, 레이블-단어 호환성을 이용해 주의를 기울여 단어 임베딩에 가중치를 부여함으로써 텍스트 분류에서 낮은 복잡도와 함께 높은 정확도를 달성한다.

ABSTRACT

Word embeddings are effective intermediate representations for capturing semantic regularities between words, when learning the representations of text sequences. We propose to view text classification as a label-word joint embedding problem: each label is embedded in the same space with the word vectors. We introduce an attention framework that measures the compatibility of embeddings between text sequences and labels. The attention is learned on a training set of labeled samples to ensure that, given a text sequence, the relevant words are weighted higher than the irrelevant ones. Our method maintains the interpretability of word embeddings, and enjoys a built-in ability to leverage alternative sources of information, in addition to input text sequences. Extensive results on the several large text datasets show that the proposed framework outperforms the state-of-the-art methods by a large margin, in terms of both accuracy and speed.

연구 동기 및 목표

• 레이블 정보가 최종 분류기뿐 아니라 초기 텍스트 표현에 왜 영향을 주어야 하는지 동기를 부여한다.
• 레이블 인식 가능하고 해석 가능한 텍스트 표현을 생성하기 위한 공동 단어-레이블 임베딩 프레임워크를 제안한다.
• 단어-레이블 호환성을 기반으로 분류를 위한 단어를 가중하기 위한 주의 메커니즘을 개발한다.
• 여러 데이터셋에 걸쳐 레이블 임베딩이 계산적으로 효율적이고 정확한 텍스트 분류를 제공한다는 것을 보여준다.
• 다중 레이블 의료 코드 예측 및 주의 단어의 해석 가능성을 통해 임상 적용 가능성을 시사한다.

제안 방법

• 단어와 클래스 레이블을 공유 잠재 공간에 임베딩한다.
• 코사인 유사도와 구문 윈도우를 이용한 비선형 국지적 주의를 통해 단어-레이블 호환성 G를 계산한다.
• 주의 점수를 사용하여 단어 임베딩의 가중 평균으로 텍스트 표현 z를 구성한다(구문에 대한 소프트맥스).
• 단일 라벨은 교차 엔트로피 손실, 다중 라벨은 시그모이드 기반 손실 등 표준 분류 손실과 라벨 임베딩을 해당 클래스 매니폴드에 배치하는 정규화 항으로 엔드투엔드 학습한다.
• 실제 클래스 설명과 일치하도록 레이블 임베딩을 정규화하여 해석 가능성과 의미 있는 앵커를 가능하게 한다.
• 선택적으로 단어 임베딩을 사전 학습된 벡터(예: GloVe)로 초기화하고 라벨 임베딩을 함께 학습한다.

실험 결과

연구 질문

• RQ1 공동 단어-레이블 임베딩이 레이블 정보를 이용해 단어 표현을 안내함으로써 텍스트 분류를 향상시킬 수 있는가?
• RQ2 제안된 레이블 임베딩 주의 모델 LEAM이 심층 주의 아키텍처에 비해 낮은 계산 비용으로도 경쟁력 있는 정확도를 달성하는가?
• RQ3 레이블 임베딩이 예측에 유익한 단어를 강조하는 해석 가능한 주의를 제공하는가?
• RQ4 표준 벤치마크 데이터셋과 실제 임상 의료 코드 예측 작업에서 LEAM은 어떻게 성능을 보이는가?

주요 결과

• LEAM은 벤치마크 문서 분류 데이터셋에서 다수의 최첨단 baselines를 능가하며 Yahoo와 DBPedia에서 최고 성능을 달성한다.
• LEAM은 모델 크기와 속도 측면에서 유리하며, 일부 Baseline보다 수렴 속도가 빠르고 CNN/LSTM 모델보다 매개변수 수가 적다.
• 비선형적이고 공간적으로 인식되는 주의(구문 기반)는 높은 성능에 필요하며 선형 변형을 능가한다.
• 레이블 임베딩은 의미 있으며 클래스 중심과 잘 상관하고 해석 가능한 주의를 가능하게 하여 작업 관련 키워드를 강조한다.
• 다중 라벨 임상 텍스트에서 LEAM은 최상의 AUC와 경쟁력 있는 F1/P@5 지표를 달성하고 주의 시각화가 건강 관련 용어를 강조한다.
• LEAM의 주의는 정보가 풍부한 단어를 더 돋보이게 하여 임상의의 독해 부담을 줄일 수 있다.