[논문 리뷰] Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems

Colin Raffel, Daniel P. W. Ellis|arXiv (Cornell University)|2015. 12. 29.

Neural Networks and Applications참고 문헌 30인용 수 273

한 줄 요약

이 논문은 순환 구조가 필요로 하는 장기 기억 문제를 해결할 수 있도록 단순화된 어텐션 메커니즘을 갖춘 피드포워드 신경망을 제안한다. 이는 10,000 토큰까지의 시퀀스에서 덧셈과 곱셈과 같은 장기 기억 작업을 효율적이고 병렬적으로 처리할 수 있도록 한다. 모델은 가변 길이 시퀀스에서 높은 정확도를 기록하며, 덧셈 작업에서 99.9%, 곱셈 작업에서 99.4%의 정확도를 달성하여 표준 RNN과 무게 없는 평균화 방식보다 뛰어난 성능을 보이며, 피드포워드 네트워크에서 어텐션 기반 기법이 재귀 없이도 장거리 의존성을 효과적으로 포착할 수 있음을 입증한다.

ABSTRACT

We propose a simplified model of attention which is applicable to feed-forward neural networks and demonstrate that the resulting model can solve the synthetic "addition" and "multiplication" long-term memory problems for sequence lengths which are both longer and more widely varying than the best published results for these tasks.

연구 동기 및 목표

• 피드포워드 네트워크에 어텐션을 도입한 모델이 순환 아키텍처가 필요로 하는 장기 기억 문제를 해결할 수 있는지 조사하기 위해.
• 특히 가변 길이 시퀀스에서 재귀 없이도 장거리 시퀀스 모델링이 가능한 어텐션의 효과를 평가하기 위해.
• 장거리 및 가변 길이 시퀀스를 처리할 때 어텐션 기반 통합 방식과 무게 없는 평균화 방식의 성능을 비교하기 위해.
• 피드포워드 네트워크에 어텐션을 도입한 모델이 병렬 처리가 가능한 동시에 합성 장기 기억 작업에서 높은 정확도를 달성할 수 있음을 보여주기 위해.
• 어텐션 메커니즘이 비재귀 아키텍처에서도 특정 위치에 집중할 수 있도록 모델이 선택적으로 참조할 수 있음을 경험적으로 입증하기 위해.

제안 방법

• 입력 토큰 $ x_t $ 각각에 대해 은닉 상태 $ h_t = \text{LReLU}(W_{xh}x_t + b_{xh}) $ 를 계산하며, 이는 학습 가능한 가중치 행렬과 편향을 사용한다.
• 컨텍스트 벡터 $ c $ 는 피드포워드 어텐션을 통해 계산된다: $ c = \sum_{t=1}^T \alpha_t h_t $, 여기서 $ \alpha_t = \frac{\exp(a(h_t))}{\sum_k \exp(a(h_k))} $ 이며, $ a $ 는 어텐션 가중치를 생성하는 학습 가능한 함수이다.
• 어텐션 메커니즘은 각 은닉 상태의 관련성에 따라 가중치를 적용함으로써 고정 길이의 적응형 시퀀스 표현을 계산할 수 있도록 한다.
• 모델는 순환 없이 백프로파게이션을 통해 엔드 투 엔드로 학습되며, 이는 시퀀스 위치 간 병렬 처리를 완전히 가능하게 한다.
• 유의미한 어텐션의 기여를 분리하기 위해, 무게 없는 평균 풀링 기반의 베이스라인과 비교한다: $ c = \frac{1}{T}\sum_{t=1}^T h_t $.
• 실험은 고정 길이 및 가변 길이 시퀀스를 대상으로 한 합성 덧셈 및 곱셈 작업을 통해 수행되며, 최대 10,000 토큰까지의 시퀀스 길이에서의 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 표준 RNN이 처리할 수 있는 길이를 초월하는 더 긴 시퀀스에서 피드포워드 네트워크에 어텐션을 도입한 모델이 덧셈과 곱셈과 같은 장기 기억 작업을 해결할 수 있는가?
• RQ2 무게 없는 평균화 방식과 비교해 볼 때, 제안된 어텐션 메커니즘이 가변 길이 시퀀스에서 더 나은 일반화 성능을 보이는가?
• RQ3 비재귀 모델이 어텐션 기반 기법을 통해 장수열에서 높은 정확도를 달성하면서도 병렬 처리를 통해 계산 효율성을 유지할 수 있는가?
• RQ4 어떤 정도로 어텐션 메커니즘이 입력 시퀀스의 특정 위치에 집중할 수 있도록 도와주는가?
• RQ5 합성 벤치마크에서 장거리 및 다양하게 변하는 길이의 시퀀스에서 피드포워드 어텐션 모델의 성능이 RNN과 어떻게 비교되는가?

주요 결과

• 모델은 길이가 50에서 10,000 사이인 가변 길이 시퀀스에서 훈련된 덧셈 작업에서 99.9%의 정확도, 곱셈 작업에서 99.4%의 정확도를 기록했다.
• 모델은 시퀀스 길이가 최대 10,000에 이르는 장기 기억 작업을 성공적으로 해결했으며, 표준 RNN이 일반적으로 처리할 수 있는 수백 단위의 제한을 크게 초월했다.
• NVIDIA GTX 980 Ti GPU에서 길이 10,000인 100,000개의 시퀀스에 대해 한 에포크 훈련을 수행하는 데 254초가 소요되었으며, 이는 비교적 유사한 파라미터를 가진 단일 레이어 RNN의 917초 대비 빠른 속도였다.
• 무게 없는 평균화 대비 어텐션 메커니즘이 상당한 성능 향상을 이끌어내었으며, 가변 길이 덧셈 작업에서 어텐션 기반 모델은 99.9%의 정확도를 기록했고, 무게 없는 평균화는 77.4%에 머물렀다.
• 모델는 피드포워드 네트워크에서 적응형 어텐션 기반 기법이 재귀 없이도 효과적인 장거리 의존성 학습을 가능하게 하며, 효율적인 병렬 학습을 지원함을 보여주었다.
• 결과적으로 순서에 민감하지 않은 작업의 경우, 어텐션 기반 피드포워드 네트워크는 RNN에 비해 장수열 모델링에 매우 효과적인 대안이 될 수 있다.