[논문 리뷰] Long Short-Term Memory-Networks for Machine Reading

Jianpeng Cheng, Li Dong외 1명|arXiv (Cornell University)|2016. 01. 25.

Topic Modeling참고 문헌 60인용 수 191

한 줄 요약

소개된 LSTMN은 내부 기억 네트워크와 내부 주의로 보강된 LSTM으로 토큰을 공동으로 기억하고 관련시키며 언어 모델링, 감정 분석, 자연어 추론을 개선한다.

ABSTRACT

In this paper we address the question of how to render sequence-level networks better at handling structured input. We propose a machine reading simulator which processes text incrementally from left to right and performs shallow reasoning with memory and attention. The reader extends the Long Short-Term Memory architecture with a memory network in place of a single memory cell. This enables adaptive memory usage during recurrence with neural attention, offering a way to weakly induce relations among tokens. The system is initially designed to process a single sequence but we also demonstrate how to integrate it with an encoder-decoder architecture. Experiments on language modeling, sentiment analysis, and natural language inference show that our model matches or outperforms the state of the art.

연구 동기 및 목표

• 텍스트를 점진적으로 처리하고 기억과 주의를 통해 얕은 추론을 수행할 수 있는 기계 독해 시뮬레이터를 개발한다.
• 표현의 기억 압축 및 표준 시퀀스 모델의 구조 처리 부족 문제를 메모리 네트워크를 순환 내에 통합하여 해결한다.
• 신경 주의를 통해 토큰 간의 적응적 기억 사용 및 관계 탐지를 LSTM 프레임워크 내에서 가능하게 한다.
• 여러 NLP 과제에 대해 엔드투엔드 학습을 시연하여 최첨단 모델과 맞먹거나 능가한다.

제안 방법

• 입력 토큰당 맥락 표현을 저장하는 기억 네트워크로 LSTM 메모리 셀을 대체한다.
• 현재 토큰을 과거 기억과 연결하고 기억 상태와 은닉 상태의 적응적 요약을 계산하기 위해 주의 메커니즘을 사용한다.
• 적응적 기억 내용으로 LSTM과 같은 게이팅을 계산하여 c_t와 h_t를 업데이트한다(방정식 7–9).
• 시퀀스-투-시퀀스 작업을 위한 다중 홉 또는 깊은 융합 변형을 형성하기 위해 기억/은닉 층을 선택적으로 쌓는다(방정식 10–16).
• 인트라-어텐션(시퀀스 내)과 인터-어텐션(시퀀스 간)을 엔코더–디코더 설정에 통합하여 얕은 및 깊은 융합을 수행한다(방정식 11–16).
• 언어 모델링, 감정 분석, 자연어 추론과 같은 과제에서 표준 LSTMs 및 베이스라인과 비교하여 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 토큰 간의 관계를 더 잘 포착하고 더 긴 시퀀스를 처리하기 위해 내부 메모리 네트워크와 주의가 강화된 LSTM은 더 잘 작동할 수 있는가?
• RQ2 토큰 기억에 대한 인트라-어텐션이 언어 모델링과 같은 단일 시퀀스 과제의 표현을 개선하는가?
• RQ3 LSTMN 아키텍처를 인코더–디코더 모델과 효과적으로 결합하여 번역이나 자연어 추론과 같은 두 시퀀스 과제를 수행할 수 있는가?
• RQ4 단일-층 vs 다층, 얕은 융합 vs 깊은 융합 등 LSTMN 변형이 표준 NLP 벤치마크에서 전통적 LSTM 변형보다 우수한가?

주요 결과

모델	퍼플렉시티
KN5	141
RNN	129
LSTM	115
LSTMN	108
sLSTM	115
gLSTM	107
dLSTM	109
LSTMN	102

• 단일층 LSTMN은 Penn Treebank에서 KN5, RNN, LSTM 베이스라인보다 더 낮은 퍼플렉시티를 달성한다.
• 세 계층 LSTMN은 테스트된 심층 아키텍처 중 최상의 퍼플렉시티를 달성한다(102 for LSTMN 3).
• LSTMN은 감정 분류에서 표준 LSTM 베이스라인을 능가하며 최첨단 결과에 근접한다.
• SNLI 스타일 자연어 추론에서 얕은 또는 깊은 융합을 가진 LSTMN 변형은 경쟁력 있는 정확도를 달성하며, 파라미터 비교에서 깊은 융합이 최첨단 성능을 제공한다.
• 주의 시각화는 모델이 sit s–at, everyone–is, and is–watching 같은 의미 있는, 비방향적이지만 언어적 관계를 학습함을 보인다.
• 모델은 언어 모델링, 감정 분석, 자연어 추론에서 강력한 성능을 보여주며 내부 기억과 인트라 어텐션 추론의 효과를 입증한다.