[논문 리뷰] Contextual LSTM (CLSTM) models for Large scale NLP tasks

Shalini Ghosh, Oriol Vinyals외 4명|arXiv (Cornell University)|2016. 02. 19.

Topic Modeling참고 문헌 48인용 수 190

한 줄 요약

CLSTM은 LSTM에 주제-맥락(feature)을 확장하여 위키피디아와 구글 뉴스 데이터에서 단어 예측, 다음 문장 선택, 문장 주제 예측을 개선하고 강한 LSTM 기반 모델 대비 상대적 이득이 크게 나타난다.

ABSTRACT

Documents exhibit sequential structure at multiple levels of abstraction (e.g., sentences, paragraphs, sections). These abstractions constitute a natural hierarchy for representing the context in which to infer the meaning of words and larger fragments of text. In this paper, we present CLSTM (Contextual LSTM), an extension of the recurrent neural network LSTM (Long-Short Term Memory) model, where we incorporate contextual features (e.g., topics) into the model. We evaluate CLSTM on three specific NLP tasks: word prediction, next sentence selection, and sentence topic prediction. Results from experiments run on two corpora, English documents in Wikipedia and a subset of articles from a recent snapshot of English Google News, indicate that using both words and topics as features improves performance of the CLSTM models over baseline LSTM models for these tasks. For example on the next sentence selection task, we get relative accuracy improvements of 21% for the Wikipedia dataset and 18% for the Google News dataset. This clearly demonstrates the significant benefit of using context appropriately in natural language (NL) tasks. This has implications for a wide variety of NL applications like question answering, sentence completion, paraphrase generation, and next utterance prediction in dialog systems.

연구 동기 및 목표

• 문서에서 주제 기반 신호를 사용하여 장거리 맥락 정보를 동화시키고 언어 모델링을 향상시키는 것을 목표로 한다.
• LSTM 게이트에 주제 임베딩을 주입하는 CLSTM 아키텍처를 개발한다.
• 대규모 말뭉치(Wikipedia 및 Google News)에서 CLSTM을 단어 예측, 다음 문장 선택, 그리고 문장 주제 예측에 대해 평가한다.
• 성능에 대한 계층적(문장 및 단락) 주제와 비지도 사고 신호의 영향력을 분석한다.

제안 방법

• 입력 게이트, 망각 게이트, 셀 게이트, 출력 게이트에 주제 벡터 T를 도입하여 LSTM 셀 방정식을 수정(단어 임베딩과 주제 임베딩을 연결)한다.
• HTM 계층적 주제 모델링을 사용하여 세그먼트(PrevSent, SentSeg, ParaSeg)에 대한 주제 분포를 공급한다.
• 대규모 말뭉치(Wikipedia 129K 어휘, Google News 100K 어휘)에서 모델을 훈련하고 단어 전용 LSTM 기준선과 비교한다.
• 다양한 특성 조합 하에서 단어 예측 perplexity, 다음 문장 점수 정확도, 문장 주제 perplexity를 평가한다.
• 감독 학습 주제 대신 무감독 사고 벡터(PrevSentThought)를 무감독 주제로 대안으로 실험한다.
• 1024 은닉 유닛을 기준으로 Wikipedia와 Google News 데이터셋의 결과를 보고한다.
• HLSTM과 같은 계층적 LSTM의 확장 가능성에 대한 오차 유형 분석 및 잠재적 확장을 논의한다.

실험 결과

연구 질문

• RQ1 CLSTM을 통해 주제-맥락을 포함시키면 강력한 LSTM 기준선 대비 단어 예측 perplexity가 개선되는가?
• RQ2 문장 수준 및 단락 수준의 주제 신호가 주어졌을 때 LSTM과 비교하여 CLSTM이 다음 문장 선택 정확도를 향상시키는가?
• RQ3 단어+주제 특징을 사용할 때 문장 주제 예측이 단어 또는 주제만을 사용할 때보다 더 정확한가?
• RQ4 다양한 주제 신호 변형(PrevSentTopic, SentSegTopic, ParaSegTopic)이 성능에 어떤 영향을 미치는가?
• RQ5 무감독 사고 벡터가 CLSTM의 감독 주제 신호에 비해 실질적인 대안이 되는가?

주요 결과

• Word + SentSegTopic + ParaSegTopic 조합의 CLSTM이 Wikipedia와 Google News에서 단어 예측의 가장 낮은 perplexity를 달성했다.
• 단어 예측 perplexity는 문장 및 문단 수준 주제를 추가하면 개선되며 은닉 유닛 1024 이후 수익이 감소한다.
• 다음 문장 점수화: LSTM 정확도 52% vs CLSTM 63% (Wikipedia 테스트 데이터세트), 상대 개선 21%이다.
• 문장 주제 예측: Word+SentTopic을 사용하는 CLSTM이 기준 SentTopic보다 perplexity에서 12% 이상 우수하다.
• 사고 벡터 PrevSentThought를 사용하는 CLSTM은 단어 전용 모델에 비해 perplexity를 개선하지만 감독 주제 신호가 더 큰 이득을 줄 수 있다.
• 구글 뉴스에서 CLSTM은 다음 문장 선택 정확도에서 LSTM 대비 약 18% 개선, 주제 예측 작업에서 약 9% 개선을 보인다.