[논문 리뷰] Densely Connected Bidirectional LSTM with Applications to Sentence Classification

Zixiang Ding, Rui Xia외 3명|arXiv (Cornell University)|2018. 02. 03.

Topic Modeling참고 문헌 19인용 수 6

한 줄 요약

이 논문은 숨겨진 상태를 모든 이전 레이어로부터 연결함으로써 특징 재사용과 정보 흐름을 향상시키는 깊이 연결된 양방향 장단기 기억망(DC-Bi-LSTM)을 제안한다. 이 모델은 표준 Bi-LSTM 및 최첨단 방법보다 더 적은 파라미터로 다섯 개인 문장 분류 벤치마크에서 뚜렷한 정확도 향상을 보이며, 기울기 소실 문제에도 불구하고 20층까지 성공적으로 훈련된다.

ABSTRACT

Deep neural networks have recently been shown to achieve highly competitive performance in many computer vision tasks due to their abilities of exploring in a much larger hypothesis space. However, since most deep architectures like stacked RNNs tend to suffer from the vanishing-gradient and overfitting problems, their effects are still understudied in many NLP tasks. Inspired by this, we propose a novel multi-layer RNN model called densely connected bidirectional long short-term memory (DC-Bi-LSTM) in this paper, which essentially represents each layer by the concatenation of its hidden state and all preceding layers' hidden states, followed by recursively passing each layer's representation to all subsequent layers. We evaluate our proposed model on five benchmark datasets of sentence classification. DC-Bi-LSTM with depth up to 20 can be successfully trained and obtain significant improvements over the traditional Bi-LSTM with the same or even less parameters. Moreover, our model has promising performance compared with the state-of-the-art approaches.

연구 동기 및 목표

• NLP 작업을 위한 깊이 있는 스택형 RNN에서 기울기 소실과 과적합 문제를 해결하기 위해.
• 깊이 있는 양방향 LSTM 아키텍처에서 특징 재사용과 정보 흐름을 향상시키기 위해.
• 문장 분류를 위한 매우 깊은 RNN(최대 20층)의 성공적인 훈련을 가능하게 하기 위해.
• 표준 Bi-LSTM 및 최첨단 모델보다 더 높은 성능과 파라미터 효율성을 달성하기 위해.

제안 방법

• 모델은 각 레이어의 입력이 원본 입력 시퀀스와 모든 이전 레이어의 은닉 상태의 연결으로 구성된 밀집 연결 아키텍처를 사용한다.
• 각 레이어는 양방향 LSTM을 통해 입력을 처리하여 새로운 은닉 상태 표현을 생성한다.
• 모든 이전 레이어의 은닉 상태가 연결되어 다음 레이어로 전달되며, 이는 깊은 특징 재사용을 가능하게 한다.
• 최종 레이어의 은닉 상태가 분류를 위한 문장 수준의 표현으로 사용된다.
• 표준 역전파와 경사하강법을 사용하여 엔드 투 엔드로 훈련된다.
• 깊이(dl), 은닉 유닛 수(dh), 시퀀스 길이(th)와 같은 하이퍼파라미터는 최적의 성능를 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 밀집 연결 아키텍처가 깊이 있는 양방향 LSTMs에서 기울기 소실과 과적합 문제를 완화할 수 있는가?
• RQ2 모든 이전 레이어의 은닉 상태를 연결함으로써 특징 표현과 분류 정확도가 향상되는가?
• RQ3 표준 스택형 Bi-LSTM와 달리, DC-Bi-LSTM는 20층 이상의 깊이에서도 성공적으로 훈련될 수 있는가?
• RQ4 표준 Bi-LSTM 및 최첨단 모델과 비교해 DC-Bi-LSTM의 성능과 파라미터 효율성은 어떠한가?

주요 결과

• 20층의 DC-Bi-LSTM는 SST-1에서 50.2%의 정확도와 SST-2에서 88.8%의 정확도를 기록했으며, 동일하거나 더 적은 파라미터로 표준 Bi-LSTM 베이스라인(49.2% 및 87.2%)을 능가했다.
• 15층의 모델(dl=15, dh=13)은 SST-1에서 최고의 성능(51.9%)과 SST-2에서 89.7%의 성능를 기록하여 이 설정에 최적의 깊이가 있음을 시사했다.
• 파라미터 수를 1.44M로 고정했을 때, 10층의 DC-Bi-LSTM(dl=10, dh=20)는 SST-1에서 51.0%, SST-2에서 88.5%의 성능를 기록했으며, Bi-LSTM보다 더 뛰어난 파라미터 효율성을 보였다.
• 깊이(dl)를 0에서 20으로 증가시키는 것은 SST-1과 SST-2에서 일관되게 성능 향상을 가져왔으며, 각각 1.7%와 1.3%의 향상으로 나타나 더 깊은 아키텍처의 이점을 입증했다.
• 은닉 유닛 수(dh)를 0에서 20으로 증가시키는 것은 정확도를 지속적으로 향상시켰으며, dh=20일 때 SST-1에서 51.0%, SST-2에서 88.5%의 성능를 기록하여 각 레이어의 표현 능력의 중요성을 확인했다.
• 표준 스택형 LSTM은 5층을 초과하면 성능이 급격히 떨어지지만(예: 8층일 때 정확도 30%), DC-Bi-LSTM는 깊이 20까지 안정적이고 성공적으로 훈련되었으며, 이는 훈련 측면에서의 우수성을 확인했다.