[논문 리뷰] Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

Ido Amos, Jonathan Berant외 1명|arXiv (Cornell University)|2023. 10. 04.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 장기 시퀀스 모델의 공정한 평가를 위해 무작위 가중치 초깃값이 아닌 데이터 기반 사전 지식을 통한 자기준비학습(SPT)이 필요하다고 주장한다. 복잡한 아키텍처적 편향 없이도 SPT를 통해 모델을 다운스트림 작업 데이터에서 사전학습시킴으로써, 트랜스포머와 상태공간모델(SSM) 모두에서 성능 향상이 가능해지며, 이는 순수한 트랜스포머가 S4의 LRA 성능을 재현하고, SSM이 PathX-256에서 20점의 정확도 향상을 이끌어내어 많은 아키텍처적 편향이 불필요해지게 한다.

ABSTRACT

Modeling long-range dependencies across sequences is a longstanding goal in machine learning and has led to architectures, such as state space models, that dramatically outperform Transformers on long sequences. However, these impressive empirical gains have been by and large demonstrated on benchmarks (e.g. Long Range Arena), where models are randomly initialized and trained to predict a target label from an input sequence. In this work, we show that random initialization leads to gross overestimation of the differences between architectures and that pretraining with standard denoising objectives, using $ extit{only the downstream task data}$, leads to dramatic gains across multiple architectures and to very small gaps between Transformers and state space models (SSMs). In stark contrast to prior works, we find vanilla Transformers to match the performance of S4 on Long Range Arena when properly pretrained, and we improve the best reported results of SSMs on the PathX-256 task by 20 absolute points. Subsequently, we analyze the utility of previously-proposed structured parameterizations for SSMs and show they become mostly redundant in the presence of data-driven initialization obtained through pretraining. Our work shows that, when evaluating different architectures on supervised tasks, incorporation of data-driven priors via pretraining is essential for reliable performance estimation, and can be done efficiently.

연구 동기 및 목표

• 무작위 가중치 초깃값으로 인해 발생하는 장기 시퀀스 모델 간 성능 비교의 불공정성 문제를 해결하기 위해.
• 다운스트림 작업 데이터에서의 사전학습만으로도 장거리 모델링에 효과적인 인덕티브 바이어스를 제공할 수 있는지 조사하기 위해.
• 모델이 적절히 사전학습된 경우 SSM에서의 아키텍처 혁신이 여전히 필요한지 평가하기 위해.
• 자기준비학습(SPT)이 일반화 능력을 향상시키고 아키텍처 간 성능 격차를 줄이는 데 기여함을 입증하기 위해.

제안 방법

• 외부 코퍼스 없이 다운스트림 작업 데이터에서만 마스크된 노이즈 제거 목표를 사용해 자기준비학습(SPT)을 적용한다.
• Long Range Arena(LRA) 및 PathX-256 벤치마크에서 모델을 새로 훈련시키는 것과 SPT로 미세조정하는 것을 비교한다.
• 두 단계 훈련 프로토콜을 사용한다: 먼저 노이즈 제거 작업에서 사전학습하고, 그 다음 다운스트림 분류 작업에서 미세조정한다.
• 무작위 초깃값과 SPT를 사용한 경우에 대해 표준 트랜스포머와 S4 상태공간모델의 성능을 비교한다.
• SPT의 성능 향상이 증가한 훈련 계산량 때문인지 분리하기 위해 계산량을 동일하게 유지한 추론 실험을 수행한다.
• 모델 크기를 4개의 주요 스케일 범위(100K에서 10M 파라미터)로 변화시켜 SPT의 스케일에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 무작위 가중치 초깃값은 장기 시퀀스 아키텍처 간 성능 비교에 편향을 초래하는가?
• RQ2 다운스트림 작업 데이터에서의 자기준비학습만으로도 트랜스포머와 SSM 간 성능 격차를 메울 수 있는 충분한 인덕티브 바이어스를 제공할 수 있는가?
• RQ3 모델이 데이터 기반 사전 지식을 통해 사전학습된 경우, SSM에서 수작업으로 설계된 아키텍처적 편향은 어느 정도 불필요해지는가?
• RQ4 SPT는 추가적인 훈련 계산량만으로도 성능 향상을 이끌어내는 것보다 일반화 능력을 더 크게 향상시키는가?
• RQ5 SPT 성능은 다양한 모델 크기와 시퀀스 길이에서 어떻게 스케일링되는가?

주요 결과

• SPT를 통해 사전학습된 순수한 트랜스포머는 아키텍처 수정 없이도 Long Range Arena(LRA)에서 최고 성능을 기록하며, S4가 보고한 결과와 동일한 성능을 달성한다.
• S4는 SPT를 사용할 경우 PathX-256 작업에서 기존의 무작위 초깃값 훈련 대비 20점의 정확도 향상을 기록한다.
• SPT는 LRA에서 트랜스포머와 SSM 간 성능 격차를 거의 제로 수준으로 줄여주며, 적절한 사전 지식이 있으면 아키텍처의 차이가 성능에 큰 영향을 주지 않음을 보여준다.
• SPT는 테스트한 모든 모델 크기(100K에서 10M 파라미터)에서 일관되게 성능 향상을 이끌어내어 스케일에 대한 강건성을 입증한다.
• SPT의 성능 향상은 추가적인 계산량 때문이라고 설명될 수 없으며, 계산량을 동일하게 유지한 실험에서도 SPT가 무작위 초깃값 훈련보다 성능이 뛰어나다는 점에서 이를 입증한다.
• S4의 구조적 파라미터화는 SPT와 결합될 경우 대부분 불필요해지며, 이는 데이터 기반 사전 지식가 아키텍처적 수작업 편향의 대부분의 이점을 대체함을 시사한다.