[논문 리뷰] Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs

Phong Ba Le, Willem Zuidema|arXiv (Cornell University)|2016. 03. 01.

Topic Modeling참고 문헌 10인용 수 13

한 줄 요약

이 논문은 제어된 인공 작업을 통해 재귀 신경망(RNNs)과 재귀 LSTM(RLSTMs)에서의 기울기 소실 및 장거리 의존성 문제를 조사한다. 분석 트리의 다양한 깊이에서 레이블이 지정된 키워드를 가진 합성 문장을 생성함으로써, 저자들은 RLSTMs가 RNNs보다 장거리 의존성을 훨씬 더 잘 포착하고 오류 신호를 전달함을 입증한다. 기울기 비율 분석 결과, 깊이 13까지도 안정적인 역전파가 이루어지는 것으로 나타났다.

ABSTRACT

Recursive neural networks (RNN) and their recently proposed extension recursive long short term memory networks (RLSTM) are models that compute representations for sentences, by recursively combining word embeddings according to an externally provided parse tree. Both models thus, unlike recurrent networks, explicitly make use of the hierarchical structure of a sentence. In this paper, we demonstrate that RNNs nevertheless suffer from the vanishing gradient and long distance dependency problem, and that RLSTMs greatly improve over RNN's on these problems. We present an artificial learning task that allows us to quantify the severity of these problems for both models. We further show that a ratio of gradients (at the root node and a focal leaf node) is highly indicative of the success of backpropagation at optimizing the relevant weights low in the tree. This paper thus provides an explanation for existing, superior results of RLSTMs on tasks such as sentiment analysis, and suggests that the benefits of including hierarchical structure and of including LSTM-style gating are complementary.

연구 동기 및 목표

• 재귀 LSTM(RLSTMs)가 표준 재귀 신경망(RNNs)보다 기울기 소실 및 장거리 의존성 문제를 더 효과적으로 해결하는지 조사하기.
• 계층적 구조와 LSTM 게이팅의 영향을 분리하여 기울기 흐름과 의존성 포착에 미치는 영향을 정량화하기.
• 다양한 트리 깊이와 키워드 위치에서 모델 성능을 정밀하게 측정할 수 있는 제어된 인공 학습 작업을 개발하기.
• 기울기 노름 비율(키워드 노드와 루트 노드 간)을 사용하여 역전파된 오류 신호 크기를 분석하고, 기준 도구로 활용하기.
• 감성 분석과 같은 NLP 작업에서 RLSTMs의 경험적 우수성을 기울기 역학의 체계적 분석을 통해 설명하기.

제안 방법

• 문장은 정수의 시퀀스이며, 하나의 키워드(값 < 1000)가 레이블을 결정한다(키워드 // 100), 분석 트리는 이진이며 무작위로 생성된다.
• 키워드 잎과 루트 노드 사이의 거리를 제어할 수 있도록 이진 트리 구조를 사용하여 장거리 의존성의 체계적 평가를 가능하게 한다.
• tanh 활성화 함수와 Xavier 초기화를 사용하여 50차원의 단어 및 메모리 벡터를 갖는 RNN과 RLSTM 모델을 구현한다.
• AdaGrad를 사용하여 학습하며, 학습률 0.05와 미니배치 크기 20(RNN), 5(RLSTM)를 적용하고, 키워드 깊이가 증가하는 10개의 데이터셋에서 성능을 평가한다.
• 역전파 과정에서 키워드 노드의 기울기 노름과 루트 노드의 기울기 노름의 비율을 계산하여 신호 강도를 정량화하고 기울기 소실/폭발 여부를 탐지한다.
• 박스플롯과 선 그래프를 사용하여 학습 에포크와 증가하는 트리 깊이에 따른 모델 정확도 및 기울기 비율 추세를 시각화한다.

실험 결과

연구 질문

• RQ1 트리 깊이가 증가함에 따라 RLSTM 모델이 RNN보다 기울기 소실 문제를 더 효과적으로 완화하는가?
• RQ2 키워드가 트리의 깊은 곳에 위치할 경우, RLSTM이 RNN보다 장거리 의존성을 더 신뢰성 있게 포착할 수 있는가?
• RQ3 키워드 노드와 루트 노드 간 기울기 노름 비율은 계층적 모델에서 역전파 효율성의 신뢰할 수 있는 지표가 되는가?
• RQ4 계층적 구조와 LSTM 스타일 게이팅이 함께 기여하여 장거리 정보 흐름이 필요한 작업에서 성능을 얼마나 향상시키는가?
• RQ5 RNN의 성능은 깊이가 증가함에 따라 심지어 장기간 학습 후에도 기울기 소실이 지속되어 심각하게 떨어지는가?

주요 결과

• RNN 모델은 키워드가 깊이 3 이내일 경우 높은 정확도(90% 이상)를 달성하지만, 깊이 9~10에서 급격히 낮아져 근처의 랜덤 수준(약 10%)에 도달하며 심각한 장거리 의존성 실패를 보인다.
• 반면 RLSTM는 깊이 8까지는 테스트 정확도가 90% 이상을 유지하며, 깊이 12와 13에서도 랜덤 기준선(10%)을 크게 초월하여 강력한 장거리 의존성 포착 능력을 보여준다.
• 기울기 비율 분석 결과, RNN은 깊이 10~13에서 항상 0.01 이하로 유지되어 심각한 기울기 소실이 발생함을 시사한다.
• 반면 RLSTM는 깊이 13에서도 기울기 비율이 0.1 이상으로 안정적으로 유지되며, 초기 에포크에는 기울기 폭발이 관찰되나 이후 안정화되어 효과적인 오류 신호 전파를 보인다.
• RLSTM의 기울기 비율은 정확도 향상과 동시에 안정화되며, 이는 모델이 시간이 지남에 따라 키워드와 루트 노드 간 연결을 강화하는 방식으로 학습함을 시사한다.
• 키워드 노드와 루트 노드 간 기울기 노름 비율은 기울기 역전파 성공 여부의 강력한 진단 지표이며, 0.01 이하일 경우 기울기 소실, 1 초과일 경우 기울기 폭발을 경고한다.