[논문 리뷰] Untangling tradeoffs between recurrence and self-attention in neural networks

Giancarlo Kerg, Bhargav Kanuparthi외 4명|arXiv (Cornell University)|2020. 06. 16.

Neural Networks and Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 자기주의적 순환 신경망에서 기울기 전파를 공식적으로 분석하여, 자기주의가 기울기 노름의 경계를 설정함으로써 기울기 소실을 완화함을 증명한다. 또한 기억 통합에 영감을 얻은 관련성 스크리닝 메커니즘을 도입하여 희소하고 확장 가능한 자기주의를 가능하게 하여 성능과 계산 비용을 균형 잡고 장기간의 시퀀스에서 안정적인 학습을 유지한다.

ABSTRACT

Attention and self-attention mechanisms, are now central to state-of-the-art deep learning on sequential tasks. However, most recent progress hinges on heuristic approaches with limited understanding of attention's role in model optimization and computation, and rely on considerable memory and computational resources that scale poorly. In this work, we present a formal analysis of how self-attention affects gradient propagation in recurrent networks, and prove that it mitigates the problem of vanishing gradients when trying to capture long-term dependencies by establishing concrete bounds for gradient norms. Building on these results, we propose a relevancy screening mechanism, inspired by the cognitive process of memory consolidation, that allows for a scalable use of sparse self-attention with recurrence. While providing guarantees to avoid vanishing gradients, we use simple numerical experiments to demonstrate the tradeoffs in performance and computational resources by efficiently balancing attention and recurrence. Based on our results, we propose a concrete direction of research to improve scalability of attentive networks.

연구 동기 및 목표

• 자기주의가 순환 네트워크에서 기울기 전파에 미치는 영향을 공식적으로 분석하고, 특히 기울기 소실을 완화하는 방식을 규명하는 것.
• 기울기 안정성, 계산 비용, 메모리 사용량 측면에서 순환성과 자기주의 간의 상호 교환 관계를 규명하고 정량화하는 것.
• 장기 의존성에 걸쳐 안정적인 기울기 흐름을 유지하는 희소 자기주의를 위한 확장 가능한 메커니즘을 개발하는 것.
• 자기주의적 순환 모델에서 기울기 노름에 대한 이론적 보장을 제공하여 효율적인 아키텍처 설계를 체계적으로 가능하게 하는 것.
• 간단한 작업에서 제안된 방법을 경험적으로 검증하여 확장성과 성능 간의 상호 교환 관계를 입증하는 것.

제안 방법

• 자기주의적 순환 네트워크에서 기울기 노름에 대한 이론적 경계를 유도하여, 자기주의가 장기간의 시퀀스에서 기울기 흐름을 안정화시켜 기울기 소실을 방지함을 증명한다.
• 동적으로 관련 있는 과거 상태를 선택하는 관련성 스크리닝 메커니즘을 제안하여 계산 그래프의 크기를 시퀀스 길이에 대해 이차에서 선형으로 줄인다.
• 주의 메커니즘을 소프트 메모리 액세스 시스템으로 모델링하여, 관련성 점수를 과거 은닉 상태에 대한 학습 가능한 함수를 통해 예측한다.
• 두 개의 하이퍼파라미터인 ν (관련성 예측을 위한 고려할 과거 상태 수)와 ρ (주의를 적용할 과거 상태 수)를 도입하여 메모리 사용과 기울기 안정성 간의 상호 교환 관계를 제어한다.
• 외부 메모리와 소프트 주의를 갖춘 반정적 모델 아키텍처를 사용하여 전체 순환 없이도 관련된 역사적 상태에 동적으로 액세스할 수 있도록 한다.
• 노이즈 제거, 복사, 순차적 MNIST, PTB 작업에 대한 수치 실험을 통해 기울기 전파, 학습 안정성, GPU 사용량을 다양한 모델 간에 평가한다.

실험 결과

연구 질문

• RQ1 자기주의는 순환 네트워크에서 기울기 전파에 어떤 영향을 미치며, 기울기 소실을 방지하기 위해 기울기 노름을 공식적으로 경계할 수 있는가?
• RQ2 순환성과 자기주의를 결합할 때 계산 복잡도(메모리 및 FLOPs)와 기울기 안정성 간의 상호 교환 관계는 어떠한가?
• RQ3 관련성 스크리닝 메커니즘이 자기주의의 계산 비용을 줄이면서도 장기간의 시퀀스에서 안정적인 학습을 유지할 수 있는가?
• RQ4 하이퍼파라미터 ν (관련성 예측 윈도우 크기)와 ρ (주의 윈도우 크기)가 기울기 전파와 모델 성능에 어떤 영향을 미치는가?
• RQ5 기억 통합 메커니즘을 갖춘 희소 주의는 시퀀스 길이의 이차적 스케일링을 줄이며 성능을 유지할 수 있는가?

주요 결과

• ρ (주의 윈도우 크기)를 증가시킬수록 기울기 안정성이 향상되며, ρ ≥ 15일 경우 안정적인 기울기 노름을 유지하지만, ρ = 3일 경우 학습이 불안정해진다.
• ν (관련성 예측 윈도우 크기)를 변경해도 기울기 안정성에 미치는 영향이 미미하며, 매우 작은 ν(예: ν = 3)일 경우 관련성 추정의 정확도가 떨어져 약간의 성능 저하가 발생한다.
• 관련성 스크리닝 기반의 RelRNN 모델은 T = 1000까지의 복사 및 노이즈 제거 작업에서 100% 정확도를 달성하였고, 표준 LSTM은 T = 500를 초과하면 실패한다.
• PTB 언어 모델링 작업에서 RelRNN 모델은 전체 주의 모델 대비 훨씬 낮은 메모리와 FLOPs를 사용하면서도 경쟁 가능한 성능을 유지한다.
• 주의의 희소화를 통해 계산 그래프 크기를 O(T²)에서 O(T)로 줄여 장기간의 시퀀스에서 기울기 폭주 없이 확장 가능한 학습을 가능하게 한다.
• 경험적 결과에 따르면 성능와 계산 비용 간의 상호 교환 관계는 주로 ρ에 의해 결정되며, ν는 보조적 영향을 미친다. 이는 ρ가 효율성과 안정성의 균형을 이루는 핵심 하이퍼파라미터임을 시사한다.