[논문 리뷰] Early Improving Recurrent Elastic Highway Network

Hyunsin Park, Chang D. Yoo|arXiv (Cornell University)|2017. 08. 14.

Time Series Analysis and Forecasting참고 문헌 17인용 수 4

한 줄 요약

이 논문은 직선적으로 감소하는 게이팅 함수를 사용하여 입력에 따라 재귀 깊이를 동적으로 조정하는 새로운 RNN 아키텍처인 Early Improving Recurrent Elastic Highway Network (EI-REHN)을 제안한다. 이는 조기 성능 향상과 적응형 계산을 가능하게 하며, 고정된 깊이를 가지는 기존의 Recurrent Highway Networks(RHNs)에 비해 성능을 향상시킨다. 모델은 각 층에 대해 동적 가중치 행렬을 사용함으로써 RHN을 개선하였으며, 파rameter 증가를 줄이고 효율성을 높이며 시퀀스 모델링 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To model time-varying nonlinear temporal dynamics in sequential data, a recurrent network capable of varying and adjusting the recurrence depth between input intervals is examined. The recurrence depth is extended by several intermediate hidden state units, and the weight parameters involved in determining these units are dynamically calculated. The motivation behind the paper lies on overcoming a deficiency in Recurrent Highway Networks and improving their performances which are currently at the forefront of RNNs: 1) Determining the appropriate number of recurrent depth in RHN for different tasks is a huge burden and just setting it to a large number is computationally wasteful with possible repercussion in terms of performance degradation and high latency. Expanding on the idea of adaptive computation time (ACT), with the use of an elastic gate in the form of a rectified exponentially decreasing function taking on as arguments as previous hidden state and input, the proposed model is able to evaluate the appropriate recurrent depth for each input. The rectified gating function enables the most significant intermediate hidden state updates to come early such that significant performance gain is achieved early. 2) Updating the weights from that of previous intermediate layer offers a richer representation than the use of shared weights across all intermediate recurrence layers. The weight update procedure is just an expansion of the idea underlying hypernetworks. To substantiate the effectiveness of the proposed network, we conducted three experiments: regression on synthetic data, human activity recognition, and language modeling on the Penn Treebank dataset. The proposed networks showed better performance than other state-of-the-art recurrent networks in all three experiments.

연구 동기 및 목표

• 시간에 따라 변화하는 시간 동적 특성을 모델링하는 데 있어 고정된 깊이를 가지는 Recurrent Highway Networks(RHNs)의 비효율성과 성능 저하 문제를 해결하기 위해.
• 모든 입력에 대해 큰 고정된 재귀 깊이를 설정함으로써 발생하는 계산 낭비와 지연을 줄이기 위해.
• 재귀 단계의 초기 단계에서 중요한 은닉 상태 갱신을 우선시하여 조기 성능 향상을 가능하게 하기 위해.
• 공유된 가중치가 아닌 각 중간 층에 대해 동적으로 가중치 행렬을 갱신함으로써 표현 능력을 향상시키기 위해.
• 제안된 아키텍처의 효과성을 다양한 시퀀스 모델링 과제에서 검증하기 위해.

제안 방법

• 이전 은닉 상태와 입력에 기반한 직선화된 지수 감소 함수를 기반으로 한 탄성 게이팅 함수를 도입하여, 각 입력에 대해 실행할 중간 재귀 단계의 수를 결정한다.
• 은닉 상태 갱신을 초기 단계에서 우선시하는 게이팅 메커니즘을 사용하여, 계산의 초기 단계에서 중요한 성능 향상이 발생하도록 보장한다.
• 각 중간 재귀 층에 대해 동적으로 가중치 행렬을 생성하는 하이퍼넷워크 유사한 구조를 활용하여 표현 학습 능력을 향상시킨다.
• 게이팅 함수를 적용하여 재귀 단계 수를 제어함으로써, 입력에 따라 가변적인 깊이를 유지하면서도 잔여 학습 안정성을 확보한다.
• EI-REHN 셀을 RHN 셀의 대체로 구현하며, 시간 단계 간에 하이퍼넷워크 파rameter를 공유하지만, 층 별로 동적 가중치를 사용한다.
• 표준 역전파 알고리즘과 교차 엔트로피 손실, Adam 최적화기를 사용하여 모델을 훈련시키며, 실험 전반에서 일관된 은닉 상태 크기를 유지한다.

실험 결과

연구 질문

• RQ1 재귀 네트워크가 입력에 따라 재귀 깊이를 동적으로 조정하여 효율성과 성능을 향상시킬 수 있는가?
• RQ2 직선화된 지수 감소 게이팅 함수는 시퀀스 모델링에서 조기에 더 효과적으로 성능 향상을 이끌 수 있는가?
• RQ3 중간 층에 대해 동적 가중치 행렬을 사용하면 RHN에서 공유된 가중치를 초월해 표현 학습 능력을 향상시킬 수 있는가?
• RQ4 EI-REHN은 다양한 시퀀스 과제에서 정확도와 퍼즐리티 측면에서 RHN 및 기타 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 아키텍처는 재귀 깊이가 증가함에 따라 파라미터 증가를 줄이고 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 펜 트리뱅크 언어 모델링 과제에서 최대 재귀 깊이가 4인 EI-REHN은 테스트 퍼즐리티 66.2를 기록하여 10단계 재귀를 사용한 RHN(66.0)을 능가했으며, 더 적은 파라미터로 최고의 보고된 결과와 동일한 성능을 달성했다.
• EI-REHN은 2500만 개의 파라미터로 검증 퍼즐리티 70.0을 기록하여, 2400만 개의 파라미터를 사용한 RHN의 68.1 퍼즐리티를 뛰어넘었으며, LSTM 및 앙상블 모델을 초월했다.
• 인간 활동 인식 과제에서 EI-REHN은 RHN 및 기타 최신 기술 모델보다 뛰어난 분류 정확도를 보였으며, 개선된 시퀀스 표현 학습 능력을 입증했다.
• 합성 회귀 과제에서 EI-REHN은 시간에 따라 변화하는 비선형 동역학을 효과적으로 포착하여 복잡한 시간 패턴에 대한 적응성을 확인했다.
• EI-REHN의 파라미터 수는 재귀 깊이 2~5 범위에서 거의 일정한 2530만 개를 유지했으며, RHN는 2070만에서 2930만으로 증가하는 등 파라미터 효율성이 뛰어나다는 것을 보여주었다.
• 낮은 재귀 깊이에서도 EI-REHN이 RHN보다 더 뛰어난 성능을 보였으며, 이는 조기 및 적응형 계산이 더 효과적인 학습을 이끌 수 있음을 시사한다.