[논문 리뷰] Adaptive Computation Time for Recurrent Neural Networks

Alex Graves|arXiv (Cornell University)|2016. 03. 29.

Topic Modeling참고 문헌 32인용 수 361

한 줄 요약

이 논문은 Adaptive Computation Time (ACT)를 도입하여 RNN이 입력당 수행할 계산 단계 수를 학습하도록 하고, 여러 합성 작업에서 성능을 개선하며 언어 모델링에 대한 통찰을 제공한다. ACT는 미분 가능한 정지 메커니즘과 손실에 전반적 시간 페널티를 사용해 계산을 조정한다.

ABSTRACT

This paper introduces Adaptive Computation Time (ACT), an algorithm that allows recurrent neural networks to learn how many computational steps to take between receiving an input and emitting an output. ACT requires minimal changes to the network architecture, is deterministic and differentiable, and does not add any noise to the parameter gradients. Experimental results are provided for four synthetic problems: determining the parity of binary vectors, applying binary logic operations, adding integers, and sorting real numbers. Overall, performance is dramatically improved by the use of ACT, which successfully adapts the number of computational steps to the requirements of the problem. We also present character-level language modelling results on the Hutter prize Wikipedia dataset. In this case ACT does not yield large gains in performance; however it does provide intriguing insight into the structure of the data, with more computation allocated to harder-to-predict transitions, such as spaces between words and ends of sentences. This suggests that ACT or other adaptive computation methods could provide a generic method for inferring segment boundaries in sequence data.

연구 동기 및 목표

• 순환 신경망이 입력 단계당 내부 업데이트의 수를 동적으로 변화시킬 수 있도록 한다.
• 계산 깊이를 결정하기 위해 미분 가능한 정지 메커니즘을 도입한다.
• 손실 함수에 시간 페널티를 추가하여 효율적인 계산을 촉진한다.
• 패리티, 로직, 덧셈, 정렬, 그리고 위키피디아 문자 예측 과제에서 ACT를 시연한다.

제안 방법

• RNN에 시그모이드 형태의 정지 유닛을 추가하여 각 입력 단계에서 계산을 언제 중지할지 결정한다.
• 같은 상태 전이 S를 사용하여 n = 1..N(t)에 대해 중간 상태 s_t^n와 출력 y_t^n을 계산한다.
• 정지 활성화에서 p_t^n를 정의하고 합이 1인 유효한 확률 분포를 형성하도록 한다.
• 샘플링 노이즈를 피하기 위해 평균 필드 업데이트 s_t = sum_n p_t^n s_t^n 및 y_t = sum_n p_t^n y_t^n을 사용한다.
• rho_t = N(t) + R(t)인 P(x) = sum_t rho_t를 더하고 이를 L_hat = L + tau P(x)로 손실에 포함한다.
• 정지 유닛의 기울기를 도출하고 ACT 특화 기울기와 한계 M(최대 업데이트 수) 및 epsilon(정지 임계값)와 함께 시간 역전파를 수행한다.

실험 결과

연구 질문

• RQ1 연속 처리(sequence 처리)를 필요로 하는 패리티, 로직, 덧셈, 정렬 과제에서 표준 RNN/LSTM과 비교해 ACT가 시퀀스 학습 성능을 향상시키는가?
• RQ2 시간 페널티 매개변수 tau가 과제 전반에서 학습된 계산 시간과 정확도에 어떤 영향을 미치는가?
• RQ3 ACT가 자연어 텍스트와 같은 순차적 데이터에서 해석 가능한 계산 패턴이나 경계(boundaries)를 드러낼 수 있는가?
• RQ4 ACT를 사용할 때 서로 다른 과제에서 계산 시간과 정확도 간의 트레이드오프는 무엇인가?
• RQ5 더 긴 시퀀스에서 내부 상태의 일관성 학습을 ACT가 촉진하는가 아니면 방해하는가?

주요 결과

• ACT가 활성화된 네트워크는 고정 계산 기반보다 합성 순차 과제에서 오차를 크게 감소시킨다.
• 더 낮은 시간 페널티 값(더 긴 숙고)은 일반적으로 패리티 및 로직 문제에서 더 빠르고 더 정확한 해를 제공하며 실행 간에 다양한 숙고 시간이 나타난다.
• 덧셈 과제에서 ACT 네트워크는 모든 tau 값에 대해 완전한 정확도를 달성했고 숙고 시간이 자릿수 수에 비례하여 거의 선형으로 나타났다.
• 정렬 과제에서 ACT는 주목할 만한 오차 감소를 보였지만 계산 비용이 크고 숙고 시간이 시퀀스 길이에 비례해 비선형적으로 증가했다.
• 위키피디아 문자 수준 예측은 전반적인 정확도 향상이 미미했지만 ACT는 어절 경계와 구두점에서 체계적인 정지를 드러내어 계산 시간으로 추론된 경계를 시사한다.
• 과제 전반에 걸쳐 tau, 숙고 시간, 정확도 간의 관계는 과제에 따라 다르게 나타났으며 ACT는 계산 밀도와 타이밍의 해석 가능한 패턴을 제공한다.