[논문 리뷰] Recurrent Orthogonal Networks and Long-Memory Tasks

Mikael Henaff, Arthur Szlam외 1명|arXiv (Cornell University)|2016. 02. 22.

Neural Networks and Applications인용 수 61

한 줄 요약

이 논문은 RNN에서 장기 기억 작업인 시퀀스 복사와 덧셈에 대해 명시적인 해석적 해를 제공하며, 직교 또는 항등 전이 행렬이 장기 정보 유지에 안정성을 제공함을 보여준다. 임의의 직교 초기화는 복사 작업에 효과적인 학습을 가능하게 하고, 항등 초기화는 덧셈 작업에 적합하며, 단일 아키텍처에서 두 기능을 통합하기 위해 $l_2$ 풀링 메커니즘을 도입한다.

ABSTRACT

Although RNNs have been shown to be powerful tools for processing sequential data, finding architectures or optimization strategies that allow them to model very long term dependencies is still an active area of research. In this work, we carefully analyze two synthetic datasets originally outlined in (Hochreiter and Schmidhuber, 1997) which are used to evaluate the ability of RNNs to store information over many time steps. We explicitly construct RNN solutions to these problems, and using these constructions, illuminate both the problems themselves and the way in which RNNs store different types of information in their hidden states. These constructions furthermore explain the success of recent methods that specify unitary initializations or constraints on the transition matrices.

연구 동기 및 목표

• 합성 벤치마크 작업을 사용하여 RNN의 장기 기억 이론적 기반을 분석하는 것.
• 복사 및 덧셈 작업에 대해 명시적인 RNN 해를 구성하여, 장기간에 걸쳐 은닉 상태가 정보를 어떻게 인코딩하는지 밝혀내는 것.
• RNN에서 직교 및 유니터리 행렬 제약 조건의 경험적 성공을 이론적 분석으로 설명하는 것.
• $l_2$ 풀링을 사용하여 단일 아키텍처가 다양한 장기 기억 작업에 일반화할 수 있는지 조사하는 것.
• 합성 벤치마크와 더 복잡하고 길이가 가변적인 작업 간의 모델 성능 일반화 능력을 평가하는 것.

제안 방법

• 은닉 상태의 동역학이 안정적이며 진동하는 성질을 가지도록, 항등 행렬의 $T+S$ 제곱근인 전이 행렬을 사용하여 복사 작업에 대해 명시적인 RNN 해를 구성한다. 이 행렬의 고유값은 단위 원주 위에 균일하게 분포되어 있다.
• 항등 전이 행렬을 사용하여 덧셈 작업에 대해 명시적인 해를 구성하여, 안정적이고 진동하지 않는 은닉 상태 동역학을 가능하게 한다.
• 임의의 직교 행렬이 높은 확률로 복사 작업의 이론적 해에 가까운 것을 보여주며, 항등 행렬도 덧셈 작업의 해에 가까운 것을 입증한다.
• 은닉 상태에 $l_2$ 풀링 레이어를 적용하여 네트워크가 진동성(직교)과 안정성(항등에 가까운) 동역학 간 전환할 수 있도록 한다.
• 단위 구면 상의 무작위 점에서 $||V^T V - I||$ 에 대한 경사 하강법을 통해 훈련 중 소프트 직교 제약 조건을 적용하여 근사 직교성을 유지한다.
• 고정 길이 및 가변 길이 복사 및 덧셈 작업에 대해 모델을 평가하여 일반화 능력과 내성에 대한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 RNN이 장기 시퀀스 복사 작업을 해결할 수 있는 정확한 수학적 조건는 무엇인가?
• RQ2 전이 행렬의 선택(직교 대비 항등)이 장기 기억 작업에서 RNN의 최적화 및 성능에 미치는 영향는 어떠한가?
• RQ3 단일 RNN 아키텍처에 $l_2$ 풀링을 적용하면 덧셈 및 복사 작업 모두에 일반화할 수 있는가?
• RQ4 왜 직교 또는 유니터리 행렬 제약 조건이 장기 기억 작업에서 성능을 향상시키며, 그 이론적 근거는 무엇인가?
• RQ5 합성 벤치마크에서의 성공이 더 복잡하고 길이가 가변적인 작업으로 일반화되는가, 아니면 작업에 특화된 것인가?

주요 결과

• 복사 작업은 고유값이 단위 원주 위에 균일하게 분포한 항등 행렬의 $T+S$ 제곱근인 전이 행렬을 가진 RNN이 해결할 수 있다.
• 덧셈 작업은 항등 전이 행렬을 가진 RNN이 해결할 수 있으며, 이는 안정적이고 진동하지 않는 은닉 상태 동역학을 가능하게 한다.
• 임의의 직교 초기화는 복사 작업의 이론적 해에 높은 확률로 가까워지며, 항등 초기화는 덧셈 작업의 해에 가까워진다.
• 초기화를 뒤바꿔 적용할 경우(예: 복사 작업에 항등, 덧셈 작업에 직교) 성능이 열악해지며, 이는 초기화가 작업의 동역학적 제약 조건에 정확히 맞아떨어져야 함을 시사한다.
• $l_2$ 풀링 메커니즘은 네트워크가 진동성과 안정 상태 동역학 간 전환할 수 있도록 해서 단일 모델이 복사 및 덧셈 작업을 모두 해결할 수 있도록 한다.
• 가변 길이 복사 작업에서 표준 LT-RNN은 우연의 기댓값을 뛰어넘지 못하지만, LSTM은 성공을 거두며, 이는 합성 벤치마크가 더 복잡하고 동적인 작업으로 일반화되지 않을 수 있음을 시사한다.