[논문 리뷰] Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings

Rie Johnson, Tong Zhang|arXiv (Cornell University)|2016. 02. 07.

Text and Document Classification Technologies참고 문헌 17인용 수 126

한 줄 요약

이 논문은 one-hot LSTM 기반 지역 임베딩을 지역 임베딩 + 풀링 프레임워크 내에서 제시하고, LSTM 기반 지역 임베딩(특히 양방향)이 이전 방법보다 우수하며, LSTM과 CNN 지역 임베딩의 결합—including semi-supervised learning with unlabeled data—가 다수 벤치마크에서 최첨단 성능을 보임을 보여준다.

ABSTRACT

One-hot CNN (convolutional neural network) has been shown to be effective for text categorization (Johnson & Zhang, 2015). We view it as a special case of a general framework which jointly trains a linear model with a non-linear feature generator consisting of `text region embedding + pooling'. Under this framework, we explore a more sophisticated region embedding method using Long Short-Term Memory (LSTM). LSTM can embed text regions of variable (and possibly large) sizes, whereas the region size needs to be fixed in a CNN. We seek effective and efficient use of LSTM for this purpose in the supervised and semi-supervised settings. The best results were obtained by combining region embeddings in the form of LSTM and convolution layers trained on unlabeled data. The results indicate that on this task, embeddings of text regions, which can convey complex concepts, are more useful than embeddings of single words in isolation. We report performances exceeding the previous best results on four benchmark datasets.

연구 동기 및 목표

• Fixed-size CNN 영역을 넘어 텍스트 분류를 위한 일반 프레임워크로서 지역 기반 임베딩의 타당성을 제시한다.
• 효율성과 성능을 높이기 위해 단어 임베딩 레이어를 제거한 간단한 one-hot LSTM 접근법을 제안한다.
• 라벨이 없는 데이터로부터 LSTM tv-임베딩을 학습하여 정확도를 향상시키는 반지도 학습을 탐구한다.
• 벤치마크 데이터셋에서 감독 학습 및 반지도 학습 모델을 평가하고 이전 방법과 비교한다.
• 라벨이 없는 데이터로 학습된 LSTM 및 CNN 지역 임베딩의 결합이 추가 이점을 제공함을 보여준다.

제안 방법

• 텍스트 분류를 region embedding + pooling으로 프레이밍한다.
• 단어 임베딩 레이어가 없는 one-hot LSTM을 지역 임베딩 생성기로 사용한다.
• 풀링을 적용하여 지역 임베딩을 문서 표현으로 축적한다.
• 속도 향상을 위해 입력/출력 게이트 제거 등 게이트를 가지치기(prune)할 수 있으며 정확도는 유지된다.
• 향상된 성능을 위한 pooling이 있는 양방향 one-hot LSTM with pooling (oh-2LSTMp)을 Introduce한다.
• 반지도 설정에서, unlabeled 데이터로부터 LSTM tv-임베딩을 학습하고 감독 학습 중에는 고정된 tv-임베딩으로 추가 입력으로 도입한다.
• LSTM tv-임베딩과 CNN tv-임베딩을 결합하여 보완적 강점을 활용한다.

실험 결과

연구 질문

• RQ1 one-hot LSTM으로 학습된 지역 임베딩이 텍스트 분류를 위한 고정 크기 지역 임베딩을 대체할 수 있는가?
• RQ2 단어 임베딩 레이어 제거와 풀링/잘라내기를 사용하면 학습 효율성과 정확도가 향상되는가?
• RQ3 비라벨 데이터가 의미 있는 region 임베딩(tv-임베딩)을 학습하여 감독 성능을 개선할 수 있는가?
• RQ4 LSTM tv-임베딩과 CNN tv-임베딩이 결합될 때 서로를 보완하는가?
• RQ5 감독 및 반지도 LSTM 기반 지역 임베딩이 벤치마크 데이터셋에서 이전의 최첨단 방법과 비교하여 어떤 성과를 보이는가?

주요 결과

Method	IMDB	Elec	RCV1	20NG
SVM bow	11.36	11.71	10.76	17.47
SVM 1–3grams	9.42	8.71	10.69	15.85
wv-LSTM	13.50	11.74	16.04	18.00
oh-2LSTMp	8.14	7.33	11.17	13.32
oh-CNN	8.39	7.64	9.17	13.64

• Oh-2LSTMp(풀링이 있는 양방향 one-hot LSTM)가 IMDB, Elec, 20NG에서 wv-LSTM 및 oh-CNN보다 우수하며 이전 CNN 기반 벤치라인과의 경쟁력을 보인다.
• 반지도 설정에서 unlabeled 데이터로 학습된 LSTM tv-임베딩을 사용하는 oh-2LSTMp가 IMDB, Elec, RCV1에서 개선을 보여준다.
• LSTM tv-임베딩과 CNN tv-임베딩의 결합은 각각 단독보다 추가적인 성능 향상을 제공한다.
• 테스트 데이터셋에서 감독 결과가 이전에 존재하던 최상 기록을 능가하며, oh-2LSTMp는 표 3에서 8.14(IMDB), 7.33(Elec), 13.32(20NG)의 성능을 달성; oh-CNN은 각각 8.39, 7.64, 9.17, 13.64를 달성한다.
• tv-임베딩을 사용하는 반지도 결과는 감독 기반 베이스라인과 기존의 반지도 방법을 크게 능가한다.
• 텍스트 영역 임베딩은 고차원 개념을 단일 단어 임베딩보다 더 효과적으로 전달한다.