[논문 리뷰] Short-term Memory of Deep RNN

Claudio Gallicchio|arXiv (Cornell University)|2018. 02. 02.

Neural Networks and Reservoir Computing참고 문헌 9인용 수 8

한 줄 요약

이 논문은 저항기계 프레임워크 내에서 깊이 있는 순환 신경망(RNN)의 단기 기억 용량(MC)을 조사하며, 훈련 이전에도 더 깊은 층들이 본질적으로 더 긴 기억 범위를 갖는다는 것을 보여준다. 제어된 스펙트럴 반경을 가진 훈련되지 않은 깊이 있는 RNN을 사용하여, 더 깊은 층들이 점차 향상된 MC를 보이며, ρ=0.9일 때 10번째 층에서 최대 50.1에 도달함을 밝혀내었으며, 이는 층을 쌓는 것이 자연스럽게 장기 기억 유지 경향을 유도한다는 것을 시사한다.

ABSTRACT

The extension of deep learning towards temporal data processing is gaining an increasing research interest. In this paper we investigate the properties of state dynamics developed in successive levels of deep recurrent neural networks (RNNs) in terms of short-term memory abilities. Our results reveal interesting insights that shed light on the nature of layering as a factor of RNN design. Noticeably, higher layers in a hierarchically organized RNN architecture results to be inherently biased towards longer memory spans even prior to training of the recurrent connections. Moreover, in the context of Reservoir Computing framework, our analysis also points out the benefit of a layered recurrent organization as an efficient approach to improve the memory skills of reservoir models.

연구 동기 및 목표

• 훈련 이전에 깊이 있는 RNN의 연속된 층들 내부의 본질적 단기 기억 용량을 분석하기 위해.
• 깊이 있는 RNN에서의 층 쌓기 방식이 은닉 상태의 시간 동적 특성과 기억 유지력에 어떻게 영향을 주는지 조사하기 위해.
• 추가적인 훈련 비용 없이 계층적 순환 아키텍처가 저항기계 모델의 기억 능력을 향상시킬 수 있는지 평가하기 위해.
• 깊이 있는 스택형 RNN에서 층 간 기억 범위의 다양화를 정량화하기 위해.

제안 방법

• 연구는 입력에서 고차 층으로의 계층적 상태 전이를 갖는 깊이 있는 스택형 RNN 아키텍처를 사용한다.
• 각 층은 tanh 활성화 함수를 사용하며, 스펙트럴 반경 ρ와 입력 가중치 노름을 제어하기 위해 무작위 가중치로 초기화된다.
• 기억 용량(MC)은 각 층이 지연 k 후에 과거 입력을 재구성해야 하는 지연 기반 작업을 통해 계산된다.
• 분석은 훈련되지 않은 네트워크에 집중하며, 가중치는 [-1,1] 범위에서 균일하게 초기화되고, 안정성을 확보하기 위해 ρ와 ||W||₂를 제어하기 위해 재스케일된다.
• 각 ρ 값(혼돈 영역 포함)에 대해 50개의 독립적인 네트워크 실현이 생성되고 결과가 평균화된다.
• 잊기 곡선은 지연 k가 증가함에 따라 기억 유지력이 어떻게 감소하는지 평가하기 위해 분석되며, 특히 1번 층과 10번 층에 중점을 둔다.

실험 결과

연구 질문

• RQ1 깊이 있는 RNN 아키텍처의 깊이가 훈련 이전에 더 높은 층들이 더 긴 단기 기억 범위를 갖도록 본질적으로 편향을 주는가?
• RQ2 순환 가중치의 스펙트럴 반경 ρ가 깊이 있는 RNN의 개별 층의 기억 용량에 어떻게 영향을 주는가?
• RQ3 더 깊은 층들이 더 낮은 층들에 비해 얼마나 다양화된 기억 역학을 보이는가?
• RQ4 층 쌓기 방식이 추가적인 출력 훈련 비용 없이 저항기계 모델의 기억 성능을 향상시킬 수 있는가?
• RQ5 지연에 따라 기억 유지력이 변화하는 방식에서 층 간 잊기 곡선은 어떻게 달라지는가?

주요 결과

• ρ=0.9일 때, 훈련되지 않은 깊이 있는 RNN에서 1번 층의 기억 용량이 22.2에서 10번째 층은 50.1로 증가함에 따라 더 깊은 층들이 더 긴 단기 기억 범위를 갖는다.
• 기억 용량은 ρ=0.9에서 최고에 도달하며, 이는 질서 영역에서 안정성과 기억 유지력 사이의 최적 균형을 나타낸다.
• 잊기 곡선 분석 결과, 10번째 층은 지연 60일 때조차도 비영일 기억 재구성을 유지하는 반면, 1번 층은 지연 30일에 거의 모든 정보를 상실한다.
• 더 깊은 층들은 기억 재구성의 피크가 오른쪽으로 이동하고, 더 완만한 감쇠 기울기를 보이며, 낮은 층들보다 더 서서히 잊는 경향을 보인다.
• 층 구조는 기억 범위의 자연스러운 다양화를 가능하게 하며, 낮은 층들은 최근 입력을 포착하고, 더 깊은 층들은 더 긴 지연 동안 정보를 저장한다.
• 상태 계산은 깊이에 따라 선형적으로 증가하지만 출력 훈련 비용은 그대로 유지되기 때문에, 층 쌓기 방식을 통해 기억 용량이 향상되는 데 있어 최소한의 계산 비용이 소요된다.