[논문 리뷰] Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network

Javier S. Turek, Shailee Jain외 4명|arXiv (Cornell University)|2019. 08. 30.

Manufacturing Process and Optimization인용 수 6

한 줄 요약

이 논문은 입력과 출력 사이에 시간 지연이 있는 단일 레이어 RNN인 지연 순환 신경망(d-RNN)을 제안한다. 이는 스타킹된 및 양방향 RNN 아키텍처를 근사하기 위한 것이다. 무게 제약 조건이 있는 d-RNN이 스타킹된 RNN과 동일하다는 것을 증명하고, 합성 및 실제 NLP 작업을 통해 d-RNN이 양방향 및 스타킹된 네트워크와 비교해 유사한 성능을 달성함과 동시에 더 단순한 구조 덕분에 더 빠른 추론을 제공함을 보여준다.

ABSTRACT

Recent work has shown that topological enhancements to recurrent neural networks (RNNs) can increase their expressiveness and representational capacity. Two popular enhancements are stacked RNNs, which increases the capacity for learning non-linear functions, and bidirectional processing, which exploits acausal information in a sequence. In this work, we explore the delayed-RNN, which is a single-layer RNN that has a delay between the input and output. We prove that a weight-constrained version of the delayed-RNN is equivalent to a stacked-RNN. We also show that the delay gives rise to partial acausality, much like bidirectional networks. Synthetic experiments confirm that the delayed-RNN can mimic bidirectional networks, solving some acausal tasks similarly, and outperforming them in others. Moreover, we show similar performance to bidirectional networks in a real-world natural language processing task. These results suggest that delayed-RNNs can approximate topologies including stacked RNNs, bidirectional RNNs, and stacked bidirectional RNNs - but with equivalent or faster runtimes for the delayed-RNNs.

연구 동기 및 목표

• 단일 레이어 RNN의 출력에 지연을 도입하는 간단한 아키텍처 수정이 깊이 있는 및 양방향 RNN의 표현 능력을 근사할 수 있는지 탐색한다.
• 지연이 부분적으로 비인과적 처리를 유도하여, 양방향 네트워크처럼 미래의 컨텍스트에 접근할 수 있도록 모델이 어떻게 작동하는지 조사한다.
• d-RNN이 합성 및 실제 시퀀스 작업에서 스타킹 및 양방향 RNN의 성능을 따라하거나 능가할 수 있는지 평가한다.
• d-RNN이 더 단순한 아키텍처 덕분에 더 빠른 추론 시간을 유지하면서도 비교적 또는 더 뛰어난 성능을 달성할 수 있음을 보여준다.

제안 방법

• d-RNN은 시간 t에서의 출력이 지연된 은닉 상태를 사용하는 단일 레이어 RNN으로 정의된다. 즉, $\mathbf{y}_t = g(\mathbf{W}_o \mathbf{h}_{t-d} + \mathbf{b}_o) $이며, 여기서 d는 지연 시간이다.
• 논문은 무게 제약 조건이 있는 d-RNN(희소 가중치를 가진)이 수학적으로 스타킹된 RNN과 동일하다는 것을 증명하여, 표현력에 대한 이론적 기반을 확립한다.
• 모델은 지연을 활용해 부분적으로 비인과적 처리를 가능하게 하여, 은닉 상태가 과거와 미래의 입력 정보를 간접적으로 통합할 수 있도록 한다.
• 합성 실험을 통해 지연에 의해 미래 컨텍스트에 의존하는 패턴을 탐지하는 등 비인과적 의존성을 요구하는 작업의 해결 능력을 평가한다.
• 실제 데이터 평가는 LSTM 및 비-LSTM 변종의 d-RNN을 사용하여 품사 태깅 및 문자 수준 언어 모델링 작업에서 수행된다.
• 다양한 지연 값과 네트워크 구성에서 표준 스타킹 RNN, 양방향 RNN, 그리고 그들의 LSTM 대응체들과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 무게 제약 조건 하에서 단일 레이어 RNN에 지연을 도입한 d-RNN이 스타킹된 RNN의 표현 능력을 근사할 수 있는가?
• RQ2 단일 레이어 RNN의 출력에 지연을 도입함으로써 부분적인 비인과적 처리가 가능해지며, 이는 양방향 RNN의 행동을 모방할 수 있는가?
• RQ3 미래 컨텍스트에 접근이 필요한 작업에서 d-RNN의 성능은 양방향 및 스타킹된 RNN과 비교해 어떻게 되는가?
• RQ4 d-RNN은 더 빠른 추론 속도를 유지하면서도 실제 NLP 작업에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ5 d-RNN 아키텍처에서 성능와 효율성의 균형을 이루는 최적의 지연 값은 무엇인가?

주요 결과

• 무게 제약 조건이 있는 d-RNN 아키텍처는 이론적으로 스타킹된 RNN과 동일하다. 이는 지연과 깊이 사이의 공식적 연결 고리를 확립한다.
• 합성 실험 결과, d-RNN은 비인과적 작업을 양방향 네트워크와 유사하게 해결할 수 있으며, 지연 덕분에 미래 컨텍스트에 접근할 수 있기 때문에 일부 경우에서 양방향 네트워크를 능가한다.
• 프랑스어 품사 태깅 작업에서 지연=1인 d-LSTM은 테스트 정확도 94.57%를 기록했으며, 최고 성능을 낸 Bi-LSTM(94.99%)와 동일하고 표준 LSTM(92.14%)를 능가했다.
• 문자 수준 언어 모델링 작업에서 지연=1인 d-LSTM은 테스트 정확도 97.04%를 기록했으며, Bi-LSTM(97.22%)에 가까운 성능을 보였고 표준 LSTM(96.10%)을 능가했다.
• d-RNN은 다양한 벤치마크에서 양방향 및 스타킹된 RNN과 비교해 유사하거나 더 뛰어난 성능을 지속적으로 달성했으며, 더 단순한 단일 레이어 구조 덕분에 더 빠른 추론을 유지했다.
• 지연=1인 d-RNN은 성능와 효율성의 최적 균형을 이룬 것으로 나타났으며, 더 높은 지연 값을 가진 변종보다 뛰어난 성능을 보였고, 순차 모델링의 강력한 베이스라인으로서 기능했다.