[논문 리뷰] Reviving and Improving Recurrent Back-Propagation

Renjie Liao, Yuwen Xiong외 6명|arXiv (Cornell University)|2018. 03. 16.

Advanced Graph Neural Networks인용 수 30

한 줄 요약

이 논문은 반복적 역전파(RBP)를 부활시키고 개선하기 위해, 전통적인 시간에 따른 역전파(BPTT)의 대체로 사용할 수 있는, 미분 가능하고 안정적이며 효율적인 방법인 노이만-RBP를 제안한다. 이 방법은 그라디언트를 반복적인 행렬-벡터 곱셈을 통해 이론적으로 BPTT 수준의 수렴성을 달성하면서도, 표준 RBP의 불안정성 문제를 피하기 위해 노이만 급수를 활용한다. 연속형 히프스필드 네트워크와 인용 네트워크에서의 검증을 통해 최신 기술 수준의 성능을 입증하였다.

ABSTRACT

In this paper, we revisit the recurrent back-propagation (RBP) algorithm, discuss the conditions under which it applies as well as how to satisfy them in deep neural networks. We show that RBP can be unstable and propose two variants based on conjugate gradient on the normal equations (CG-RBP) and Neumann series (Neumann-RBP). We further investigate the relationship between Neumann-RBP and back propagation through time (BPTT) and its truncated version (TBPTT). Our Neumann-RBP has the same time complexity as TBPTT but only requires constant memory, whereas TBPTT's memory cost scales linearly with the number of truncation steps. We examine all RBP variants along with BPTT and TBPTT in three different application domains: associative memory with continuous Hopfield networks, document classification in citation networks using graph neural networks and hyperparameter optimization for fully connected networks. All experiments demonstrate that RBPs, especially the Neumann-RBP variant, are efficient and effective for optimizing convergent recurrent neural networks. Code is released at: \url{https://github.com/lrjconan/RBP}.

연구 동기 및 목표

• 반복 신경망 학습에서 표준 RBP의 불안정성과 수렴 문제를 해결하기 위해.
• 시간에 따른 전체 역전파의 계산 부담을 피하면서도, BPTT의 대안으로서 미분 가능하고 안정적이며 효율적인 방법을 개발하기 위해.
• 암시함수정리와 노이만 급수 수렴을 활용하여, RBP와 노이만-RBP가 BPTT와 이론적으로 동일한 조건을 수립하기 위해.
• 연상 기억 작업과 인용 네트워크 분류에서 제안된 노이만-RBP 방법을 실증적으로 검증하여, 더 높은 안정성과 정확도를 입증하기 위해.

제안 방법

• 역행렬의 노이만 급수 전개를 활용하여, RBP의 미분 가능 근사로 노이만-RBP를 제안함으로써 안정적인 그라디언트 계산을 가능하게 한다.
• 노이만 급수 ∑t=0∞JF,h∗t 수렴 조건 하에서, 노이만-RBP와 BPTT가 동치임을 도출한다.
• 두 가지 최적화 전략을 도입한다: (I−JF,h∗)⊤(I−JF,h∗)의 최소 고유값의 하한을 극대화하기 위한 정규화, 그리고 최소 고유값을 직접 랭초스 알고리즘에 대해 미분함으로써 계산한다.
• 자동미분를 활용한 단순한 파이토치 기반 노이만-RBP 구현을 사용하여, 10줄 이내의 코드로 구현한다.
• 노이만 급수를 K단계에서 잘라내어 K단계 TBPTT를 근사함으로써, 메모리와 계산량을 줄인 효율적인 학습을 가능하게 한다.
• SGD와 모멘타움을 사용하여 연속형 히프스필드 네트워크와 인용 네트워크에서 BPTT, TBPTT, RBP, CG-RBP, ARTBP와의 비교를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 안정된 상태 동역학을 갖는 반복 네트워크에서, 노이만-RBP가 BPTT와 동치가 되는 조건은 무엇인가?
• RQ2 최소 고유값이 (I−JF,h∗)⊤(I−JF,h∗)에서 0에서 멀리 떨어져 있도록 보장함으로써 RBP의 안정성을 어떻게 향상시킬 수 있는가?
• RQ3 노이만-RBP는 전체 시간에 따른 역전파의 계산 비용을 피하면서도 BPTT 수준의 성능를 달성할 수 있는가?
• RQ4 실제 시퀀스 모델링 작업에서 기존의 RBP 변종인 CG-RBP와 ARTBP에 비해 노이만-RBP는 수렴성과 정확도 측면에서 어떻게 비교되는가?
• RQ5 장기간 시퀀스 학습에서 노이만-RBP의 성능에 대해 잘라내기 길이(truncation length)의 영향은 무엇인가?

주요 결과

• 30단계 잘라내기 조건에서 연속형 히프스필드 네트워크 작업에서 노이만-RBP는 100% 성공률를 기록하며, 표준 RBP는 30단계까지 실패함을 확인하여 훨씬 뛰어난 안정성을 입증하였다.
• Cora 인용 네트워크에서 노이만-RBP는 테스트 정확도 46.63±8.3%를 기록하여 BPTT(24.48±6.6%)와 RBP(29.25±3.3%)를 모두 초월하였으며, TBPTT(46.55±6.4%)와 유사한 성능를 보였고, 더 뛰어난 안정성을 확보하였다.
• Cora와 Pubmed 데이터셋에서 노이만-RBP는 TBPTT 성능을 그대로 재현하여 각각 46.63±8.3%와 42.22±7.1%의 정확도를 달성하였으며, ARTBP 변종을 능가하였다.
• JF,h∗의 스펙트럴 반지름이 1보다 작을 경우, 노이만 급수를 통해 전체 그라디언트를 성공적으로 복원함으로써 이론적으로 BPTT와 동치임을 보장하였다.
• 구현은 매우 효율적이었으며, 파이토치 코드로 10줄 이내로 구현되었고, 전체 시퀀스를 역전파하지 않고도 미분 가능하고 안정적인 학습을 가능하게 하였다.
• 임의의 손상이나 불안정한 초기화 조건 하에서도 100번의 시험에서 높은 성능를 유지함으로써 강건성을 입증하였다.