[논문 리뷰] Cell-aware Stacked LSTMs for Modeling Sentences

Jihun Choi, Taeuk Kim외 1명|arXiv (Cornell University)|2018. 09. 07.

Topic Modeling참고 문헌 64인용 수 3

한 줄 요약

이 논문은 소프트 게이팅 메커니즘을 사용하여 하위 레이어의 은닉 상태와 메모리 셀 상태를 수직 정보 흐름에 통합하는 새로운 스택드 LSTMs 아키텍처인 Cell-aware Stacked LSTMs(CAS-LSTM)을 제안한다. 수직 연결에 LSTMs의 게이팅 메커니즘을 활용함으로써, CAS-LSTM은 SNLI, SST-2, Quora Question Pairs를 포함한 벤치마크 데이터셋에서 표준 스택드 LSTMs를 능가하는 유의미한 성능 향상을 달성한다.

ABSTRACT

We propose a method of stacking multiple long short-term memory (LSTM) layers for modeling sentences. In contrast to the conventional stacked LSTMs where only hidden states are fed as input to the next layer, the suggested architecture accepts both hidden and memory cell states of the preceding layer and fuses information from the left and the lower context using the soft gating mechanism of LSTMs. Thus the architecture modulates the amount of information to be delivered not only in horizontal recurrence but also in vertical connections, from which useful features extracted from lower layers are effectively conveyed to upper layers. We dub this architecture Cell-aware Stacked LSTM (CAS-LSTM) and show from experiments that our models bring significant performance gain over the standard LSTMs on benchmark datasets for natural language inference, paraphrase detection, sentiment classification, and machine translation. We also conduct extensive qualitative analysis to understand the internal behavior of the suggested approach.

연구 동기 및 목표

• 표준 은닉 상태 전파를 넘어서 스택드 LSTMs 레이어 간의 정보 흐름을 향상시켜 문장 표현 학습을 향상시키기.
• 하위 레이어의 메모리 셀 상태를 수직 연결에 통합함으로써 순차적 의존성 모델링이 향상되는지 조사하기.
• 표준 스택드 LSTMs와의 후행 호환성을 유지하면서도 성능을 향상시키는 단순하면서도 효과적인 아키텍처 설계하기.
• 자연어 추론, 감성 분류, 기계 번역와 같은 다양한 NLP 작업에서 제안된 아키텍처의 효과성을 실증적으로 검증하기.
• 게이트 행동과 정보 흐름 분석을 통한 제안된 아키텍처의 내부 역학에 대한 정성적 통찰 제공하기.

제안 방법

• 표준 스택드 LSTMs를 확장하여 이전 레이어의 은닉 상태와 셀 상태를 현재 레이어의 계산에 모두 투입한다.
• 하위 레이어의 셀 상태 $\mathbf{c}_t^{l-1}$ 에 대한 수직 정보 흐름을 제어하기 위해 새로운 忽略 게이트 $\mathbf{g}_t^l$ 을 도입하며, 이는 시간적 忽略 게이트와 유사한 소프트 게이팅 메커니즘을 사용한다.
• 수직 게이트 $\mathbf{g}_t^l$ 은 현재 은닉 상태 $\mathbf{h}_t^{l-1}$ 과 셀 상태 $\mathbf{c}_t^{l-1}$ 을 사용하여 계산되며, 하위 레이어에서 온 정보의 동적 모odulation을 가능하게 한다.
• 최종 셀 상태 $\mathbf{c}_t^l$ 은 입력 후보, 이전 셀 상태, 하위 레이어 셀 상태의 가중합으로 계산되며, 가중치는 입력 게이트, 忽略 게이트, 수직 게이트에 의해 결정된다.
• 왼쪽 및 하위 컨텍스트 기여도를 균형 조절하기 위해 학습 가능한 스케일링 인자 $\bm{\lambda}$ 를 도입하여 안정성과 성능 향상에 기여한다.
• 모든 레이어의 상태 차원이 동일할 경우, 표준 스택드 LSTMs와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 하위 레이어의 메모리 셀 상태를 수직 정보 흐름에 통합함으로써 스택드 LSTMs에서 문장 표현 학습이 향상될 수 있는가?
• RQ2 수직 연결에 전용 소프트 게이팅 메커니즘을 사용할 경우, 계층적 및 순차적 의존성 모델링이 향상되는가?
• RQ3 다양한 NLP 작업에서 표준 스택드 LSTMs 및 잔차 연결 또는 단축 연결과 같은 다른 변종과 비교해 볼 때 제안된 아키텍처의 성능는 어떠한가?
• RQ4 수직 忽略 게이트가 하위 레이어 셀 상태에서 관련 정보를 선택하는 데 있어 출력 게이트에 비해 기여도는 어떠한가?
• RQ5 실제로 학습된 게이트는 어떻게 행동하는가? 그리고 정보 필터링을 향상시키는 데 독립적인 결정을 내리는가?

주요 결과

• SNLI 데이터셋에서 CAS-LSTM은 87.0%의 테스트 정확도를 달성하여 베이스라인 스택드 LSTM 및 이 벤치마크에서 최고 수준의 모델을 능가한다.
• SST-2 감성 분류 데이터셋에서 CAS-LSTM은 기존 최고 성능 모델과 동등하거나 그 이상의 성능를 기록한다.
• Quora Question Pairs의 동의어 탐지 작업에서 CAS-LSTM은 표준 스택드 LSTMs에 비해 일관된 성능 향상을 보였다.
• 제거 실험 결과, 학습 가능한 스케일링 인자 $\bm{\lambda}$ 가 성능 향상에 기여하며, 최적 설정에서 $\bm{\lambda}$ 가 없는 경우 대비 0.4%의 정확도 향상을 달성했다.
• 정성적 분석 결과, 수직 忽略 게이트 $\mathbf{g}_t^l$ 과 출력 게이트 $\mathbf{o}_t^{l-1}$ 는 정보 선택에 대해 독립적인 결정을 내리는 것으로 확인되어, 새로운 게이트의 보완적 역할을 검증했다.
• 하위 컨텍스트 통합에 피플홀 연결을 사용한 모델 변종은 CAS-LSTM에 비해 성능이 열 劣하므로, 제안된 게이팅 메커니즘의 우월성을 입증했다.