[논문 리뷰] Architectural Complexity Measures of Recurrent Neural Networks

Saizheng Zhang, Yuhuai Wu외 5명|arXiv (Cornell University)|2016. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 111

한 줄 요약

본 논문은 RNN 아키텍처에 대한 그래프 이론적 프레임워크를 도입하고 세 가지 복잡도 측정치—recurrent depth, feedforward depth, 그리고 recurrent skip coefficient—를 정의하며, 더 깊은 recurrent 및 feedforward 경로와 더 높은 skip 계수가 순차 태스크에서 성능을 향상시킬 수 있음을 이론적 특성 및 경험적 증거로 보여준다.

ABSTRACT

In this paper, we systematically analyze the connecting architectures of recurrent neural networks (RNNs). Our main contribution is twofold: first, we present a rigorous graph-theoretic framework describing the connecting architectures of RNNs in general. Second, we propose three architecture complexity measures of RNNs: (a) the recurrent depth, which captures the RNN's over-time nonlinear complexity, (b) the feedforward depth, which captures the local input-output nonlinearity (similar to the "depth" in feedforward neural networks (FNNs)), and (c) the recurrent skip coefficient which captures how rapidly the information propagates over time. We rigorously prove each measure's existence and computability. Our experimental results show that RNNs might benefit from larger recurrent depth and feedforward depth. We further demonstrate that increasing recurrent skip coefficient offers performance boosts on long term dependency problems.

연구 동기 및 목표

• 연결된 아키텍처를 수학적으로 명확하게 정의하는 그래프 기반 RNN 형식화를 제공한다.
• 생성 가능성과 계산 가능성을 입증하고 존재를 증명하며, architectural complexity measures( recurrent depth, feedforward depth, recurrent skip coefficient )를 정의한다.
• 순차 태스크에서 깊이와 skip 계수를 변화시킬 때 성능에 미치는 영향을 실증적으로 평가한다.
• 더 큰 recurrent 및 feedforward depth가 일부 태스크에서 성능을 향상시킬 수 있지만 지나친 깊이는 성능 저하를 초래할 수 있으며, 더 높은 skip coefficients가 장기 의존성에 도움을 준다는 점을 보여준다.]
• method:[
• RNN 연결 아키텍처를 가중 방향 다중그래프(RNN cyclic graph)와 시간 확장된 DAG(RNN unfolded graph)로 모델링한다.
• 재귀 깊이 d_r를 시간 당 비선형 변환의 점근적 평균으로 정의하며, 이를 최대 사이클 비율 l(θ)/σ_s(θ)로 표현한다.
• 피드포워드 깊이 d_f를 입력에서 출력까지의 경로 중 D*_i(n) − n·d_r의 상한으로 정의하며, 이는 경로별로 l(γ) − σ_s(γ)·d_r의 최댓값으로 계산 가능하다.
• recurrent skip coefficient s를 사이클들 전체에서 최저 장기 경로 증가 j = min_θ l(θ)/σ_s(θ)의 역수로 정의하며, i.e., s = 1/j.
• 일반 프레임워크 하에서 d_r, d_f, s의 존재성과 계산 가능성을 증명한다.
• Penn Treebank character-level modeling, text8, adding and copying memory problems, 순차 MNIST와 같은 태스크에서 다양한 d_r, d_f, s를 가지는 아키텍처를 비교 실험한다.

제안 방법

• 모델링된 RNN 연결 아키텍처를 가중 방향 다중그래프(RNN cyclic graph)와 시간에 의해 펼쳐진 DAG(RNN unfolded graph)로 정의한다.
• 재귀 깊이 d_r을 시간 단위당 비선형 변환의 수의 점근적 평균으로 정의하고, 이를 최대 주기 비율 l(θ)/σ_s(θ)로 표현한다.
• 피드포워드 깊이 d_f를 입력에서 출력으로의 경로 중 D*_i(n) − n·d_r의 상한으로 정의하며, 이는 경로별로 l(γ) − σ_s(γ)·d_r의 최댓값으로 계산 가능하다.
• recurrent skip coefficient s를 장기 경로 증가의 최소값 j = min_θ l(θ)/σ_s(θ)의 역수로 정의하며, 즉 s = 1/j.
• d_r, d_f, s의 존재성 및 계산 가능성을 일반 프레임워크 하에서 증명한다.
• 펜 트리뱅크(Penn Treebank) 문자 수준 모델링, text8, 기억 추가 및 복사 문제, 순차 MNIST 등의 태스크에서 서로 다른 d_r, d_f, s를 가진 아키텍처를 비교한다.

실험 결과

연구 질문

• RQ1 recurrent depth가 전통적 깊이 개념을 넘어 시간에 따른 의미 있는 비선형성을 포착하는가?
• RQ2 recurrent depth와 feedforward depth의 증가가 순차 태스크의 성능을 향상시키는가, 최적의 범위가 있는가?
• RQ3 recurrent skip coefficient를 증가시키면 장기 의존성 학습이 개선되는가?
• RQ4 이러한 구조적 측정치가 RNN의 최적화 난이도와 어떤 관련이 있는가?

주요 결과

• recurrent depth d_r은 동일한 층 수를 가진 아키텍처들 간에도 다를 수 있으며, 더 깊은 반복 구조가 장기 비선형 증가에 영향을 준다.
• d_r 및 d_f의 증가가 일부 태스크(예: tanh RNNs 및 LSTMs에서 텍스트8 등)에서 성능을 향상시킬 수 있지만, 너무 큰 d_r 또는 d_f는 최적화 및 다른 태스크(예: 순차 MNIST)에서 성능 저하를 초래할 수 있다.
• recurrent skip coefficient s를 늘리면 기억 문제나 순차 MNIST와 같은 장기 의존성 태스크에서 성능이 크게 향상되며, 종종 베이스라인 및 유사 모델들을 능가한다.
• 효과적인 재귀 스킵 계수를 증가시키는 스킵 연결(모든 스킵 연결이 다 같은 이점을 주는 것은 아니다)은 큰 이점을 가져올 수 있으며, 설계 시 s를 고려하는 것이 중요함을 강조한다.