[논문 리뷰] Reservoir Transformer

Sheng Shen, Alexei Baevski외 4명|arXiv (Cornell University)|2020. 12. 30.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

논문은 표준 트랜스포머 레이어의 일부를 무작위로 초기화된 학습되지 않은 비선형 저류층으로 대체하는 하이브리드 아키텍처인 Reservoir Transformer를 제안한다. 이 설계는 저류 계산 원리를 활용하여 저류 가중치를 업데이트하지 않으면서도 훈련 수렴 속도를 향상시키고 기계 번역 및 마스킹된 언어 모델링 작업에서 성능을 향상시킨다.

ABSTRACT

We demonstrate that transformers obtain impressive performance even when some of the layers are randomly initialized and never updated. Inspired by old and well-established ideas in machine learning, we explore a variety of non-linear reservoir layers interspersed with regular transformer layers, and show improvements in wall-clock compute time until convergence, as well as overall performance, on various machine translation and (masked) language modelling tasks.

연구 동기 및 목표

• 무작위로 초기화되고 업데이트되지 않는 레이어가 트랜스포머 성능을 향상시킬 수 있는지 조사하기 위해.
• 저류 계산 개념을 트랜스포머 아키텍처에 통합하는 방법을 탐색하기 위해.
• 모델 정확도를 유지하거나 향상시키면서도 벽시계 훈련 시간을 단축시키기 위해.
• 비선형 저류 레이어가 시퀀스 모델링 작업에서 효과적인지 평가하기 위해.
• 기계 번역 및 마스킹된 언어 모델링 벤치마크에서의 성능 향상 여부 평가하기 위해.

제안 방법

• 선택된 트랜스포머 레이어를 무작위로 초기화되고 훈련 중 고정되는 비선형 저류 레이어로 대체한다.
• 저류 레이어는 입력 표현에 대해 무작위로 초기화되고 학습되지 않는 비선형 변환을 적용한다.
• 표준 자기주의 레이어와 저류 레이어를 번갈아가며 배치하여 표현 능력을 유지한다.
• 저류 레이어는 기울기 업데이트 없이도 시간적 동역학과 정보 흐름을 유지하도록 설계된다.
• 표준 기계 번역 및 마스킹된 언어 모델링 벤치마크에서 방법을 평가한다.
• 훈련 과정에서는 표준 트랜스포머 레이어에서만 표준 역전파를 사용하며, 저류 가중치는 동결된 상태로 유지된다.

실험 결과

연구 질문

• RQ1 학습되지 않은 무작위로 초기화된 저류 레이어가 트랜스포머 훈련 효율성을 향상시킬 수 있는가?
• RQ2 저류 레이어의 통합이 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ3 저류 메커니즘이 시퀀스 모델링 작업에서 표현 학습을 향상시키는가?
• RQ4 저류 레이어의 배치와 빈도가 트랜스포머 스택에 미치는 영향은 무엇인가?
• RQ5 저류 레이어를 통해 계산 비용을 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• Reservoir Transformer는 표준 트랜스포머보다 벽시계 시간 기준으로 더 빠른 수렴을 달성한다.
• 기계 번역 및 마스킹된 언어 모델링 작업에서 경쟁 가능한 성능을 유지한다.
• 학습되지 않은 저류 레이어의 사용으로 학습 가능한 파라미터 수와 훈련 계산 비용이 감소한다.
• 모델 정확도를 손상시키지 않고 훈련 속도 향상에 일관되게 기여한다.
• 기울기 업데이트 없이도 저류 레이어가 표현을 효과적으로 유지하고 변환한다.
• 다양한 자연어 처리 벤치마크에서 효과적이며, 광범위한 적용 가능성을 시사한다.