[논문 리뷰] Context based Text-generation using LSTM networks

Sivasurya Santhanam|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 14인용 수 9

한 줄 요약

이 논문은 단어 군집화 또는 도메인 특화 임베딩에서 유도된 맥락 벡터를 시퀀스 모델링에 통합하여 의미 일관성을 향상시키는 맥락 인식 LSTM 기반 텍스트 생성 모델을 제안한다. 입력 시퀀스와 맥락 벡터를 조건으로 삼아 다음 단어를 예측하도록 LSTM를 훈련시킴으로써, 기준 모델에 비해 제공된 맥락과 훨씬 더 높은 의미 유사도를 달성한다. 특히 도메인 특화 임베딩를 사용할 경우 성능이 더욱 뛰어나다.

ABSTRACT

Long short-term memory(LSTM) units on sequence-based models are being used in translation, question-answering systems, classification tasks due to their capability of learning long-term dependencies. In Natural language generation, LSTM networks are providing impressive results on text generation models by learning language models with grammatically stable syntaxes. But the downside is that the network does not learn about the context. The network only learns the input-output function and generates text given a set of input words irrespective of pragmatics. As the model is trained without any such context, there is no semantic consistency among the generated sentences. The proposed model is trained to generate text for a given set of input words along with a context vector. A context vector is similar to a paragraph vector that grasps the semantic meaning(context) of the sentence. Several methods of extracting the context vectors are proposed in this work. While training a language model, in addition to the input-output sequences, context vectors are also trained along with the inputs. Due to this structure, the model learns the relation among the input words, context vector and the target word. Given a set of context terms, a well trained model will generate text around the provided context. Based on the nature of computing context vectors, the model has been tried out with two variations (word importance and word clustering). In the word clustering method, the suitable embeddings among various domains are also explored. The results are evaluated based on the semantic closeness of the generated text to the given context.

연구 동기 및 목표

• 입력 시퀀스 외의 맥락 정보를 통합하여 LSTM 기반 텍스트 생성에서의 의미 일관성 부족 문제를 해결하기 위해.
• 입력 문장의 의미를 포괄하는 맥락 벡터를 효과적으로 추출하는 방법을 탐색하기 위해.
• 의미 유사도 메트릭을 사용하여 맥락 벡터가 텍스트 생성 품질에 미치는 영향을 평가하기 위해.
• 맥락 인식 언어 모델링을 위한 최적의 훈련 기간과 모델 구성 설정을 규명하기 위해.
• 질의 응답 및 챗봇과 같은 실세계 NLP 작업에 맥락 인식 생성의 적용 가능성을 입증하기 위해.

제안 방법

• 입력 단어 시퀀스와 맥락 벡터를 모두 입력으로 받는 수정된 LSTM 아키텍처를 도입하여 목표 단어를 생성한다.
• 두 가지 맥락 추출 방법을 활용한다: 사전에 학습된 벡터 공간(예: Word2Vec, GloVe)에서의 단어 중요도 순위 매기기 및 단어 군집화.
• 입력-출력 시퀀스와 맥락 벡터 양쪽을 최적화하기 위해 백프로파게이션 스루 타임(BPTT)을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 생성된 문장의 명사와 맥락 단어 간의 코사인 유사도를 의미 유사도 평가 지표로 사용한다.
• 모든 3 에포크마다 평가 지표를 적용하여 훈련 진행 상황을 모니터링하고 과적합 여부를 탐지한다.
• 위키백과 기반 임베딩과 도메인 특화 임베딩을 사용해 훈련된 모델 간의 성능을 비교하여 맥락 품질을 평가한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 텍스트 생성에 맥락 벡터를 통합하면 입력 맥락과의 의미 일관성이 향상되는가?
• RQ2 맥락 벡터 추출 방법으로서 단어 중요도 또는 단어 군집화 중 어느 것이 맥락 인식 텍스트 생성에서 더 높은 성능을 낼 수 있는가?
• RQ3 단어 임베딩 공간의 선택(예: 위키백과 vs. 도메인 특화)은 생성된 텍스트의 품질에 어떤 영향을 미치는가?
• RQ4 훈련 과정 중 어떤 시점에 모델이 맥락과의 최적의 의미 유사도를 달성하며, 과적합 현상은 발생하는가?
• RQ5 맥락 인식 생성은 질의 응답 및 대화 시스템과 같은 실세계 NLP 응용 분야에 효과적으로 적용될 수 있는가?

주요 결과

• 맥락 벡터를 통합한 맥락 인식 LSTM 모델은 맥락 벡터 없이 훈련된 기본 모델에 비해 유의미하게 뛰어난 성능을 보이며, 시간이 지남에 따라 더 높고 안정된 코사인 유사도 점수를 기록한다.
• 도메인 특화 벡터 공간에서 단어 군집화를 통해 추출한 맥락 벡터를 사용한 모델이 위키백과 임베딩을 사용한 모델보다 더 뛰어난 성능을 보였다.
• 모델은 약 20 에포크에서 최고 성능을 기록했으며, 최적의 도메인 기반 모델의 경우 의미 유사도 점수는 67%에서 85% 사이로 변동했다.
• 코사인 유사도 평가 방법은 과적합을 효과적으로 탐지했으며, 최적의 훈련 기간 이후 성능이 하락하기 시작하는 것으로 나타났다.
• 도메인 특화 임베딩를 사용해 맥락 벡터를 생성하면 더 의미적으로 관련성 있고 맥락에 일관된 텍스트 생성이 가능했다.
• 결과적으로 맥락 인식 텍스트 생성 기법은 질문 응답 및 챗봇과 같이 주제 인식 또는 구조적 지시에 따라 응답이 필요한 응용 분야로 일반화될 수 있음을 시사한다.