[논문 리뷰] ChordMixer: A Scalable Neural Attention Model for Sequences with Different Lengths

Ruslan Khalitov, Tong Yu외 2명|arXiv (Cornell University)|2022. 06. 12.

Computational Physics and Python Applications인용 수 4

한 줄 요약

ChordMixer는 패딩 또는 청크화 없이 가변 길이 시퀀스를 처리할 수 있는 확장 가능한 신경 어텐션 모델이다. 파rameter가 없는 다중 스케일 회전과 채널 별 MLP를 사용하며, 긴 시퀀스 작업에서 최신 기술 수준의 성능을 달성한다. 합성, 문서, DNA 시퀀스 분류에서 기존 트랜스포머 및 변종보다 뛰어나며, 특히 극단적인 길이(최대 150만 토큰)에서 뛰어난 성능을 보인다.

ABSTRACT

Sequential data naturally have different lengths in many domains, with some very long sequences. As an important modeling tool, neural attention should capture long-range interaction in such sequences. However, most existing neural attention models admit only short sequences, or they have to employ chunking or padding to enforce a constant input length. Here we propose a simple neural network building block called ChordMixer which can model the attention for long sequences with variable lengths. Each ChordMixer block consists of a position-wise rotation layer without learnable parameters and an element-wise MLP layer. Repeatedly applying such blocks forms an effective network backbone that mixes the input signals towards the learning targets. We have tested ChordMixer on the synthetic adding problem, long document classification, and DNA sequence-based taxonomy classification. The experiment results show that our method substantially outperforms other neural attention models.

연구 동기 및 목표

• 패딩 또는 청크화 없이 신경 어텐션에서 장기이고 가변 길이의 시퀀스를 모델링하는 도전 과제를 해결한다.
• 기본 트랜스포머 및 그 변종의 이차적 계산 비용과 확장성 한계를 극복한다.
• 모든 시퀀스 길이에서 최대 수용 필드를 유지하면서 최소한의 파라미터로 신경망 백본을 설계한다.
• 자연어 및 유전체학과 같은 다양한 도메인의 시퀀스에서 효과적인 장거리 상호작용을 가능하게 한다.
• 기존 방법이 길이 제약으로 인해 성능이 떨어지는 장기 시퀀스 작업에서 뛰어난 성능을 입증한다.

제안 방법

• 비파ram터리 다중 스케일 회전층과 학습 가능한 채널 별 MLP로 구성된 ChordMixer를 신경망 빌딩 블록으로 제안한다.
• 반복적으로 ChordMixer 블록을 적용하여 시퀀스 위치 간의 정보를 점진적으로 혼합하며, log₂N 블록 후에 완전한 수용 필드를 확보한다.
• 학습 가능한 파ram터가 없는 위치 기반 회전을 사용하여 모델 크기가 시퀀스 길이에 따라 달라지지 않는다.
• 패딩 또는 잘라내기 없이 어떤 길이의 시퀀스도 처리하여 가변 길이 입력에서 엔드 투 엔드 학습을 가능하게 한다.
• 모든 시퀀스 길이에서 동일한 아키텍처를 사용하여 길이에 따라 설계를 달리하지 않는다.
• 표준 예측기(예: 분류기 또는 회귀기)와 통합 가능하며, 분류 및 회귀 작업을 모두 지원한다.

실험 결과

연구 질문

• RQ1 패딩 또는 청크화 없이 신경 어텐션 메커니즘이 가변 길이 시퀀스에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 ChordMixer는 다양한 길이의 장기 시퀀스에서 트랜스포머 및 효율적인 변종과 비교해 어떻게 성능을 내는가?
• RQ3 학습 가능한 위치 인코딩이나 국소적 인덕티브 바이어스가 없는 것이 장기 시퀀스에서 성능에 악영향을 미치는가?
• RQ4 ChordMixer는 극단적인 시퀀스 길이 백분위수(예: 99번째~99.5번째 백분위수)에서 얼마나 안정적인 성능을 유지하는가?
• RQ5 ChordMixer는 합성 작업, 장기 문서 분류, DNA 시퀀스 분류와 같은 다양한 도메인으로 일반화 가능한가?

주요 결과

• ChordMixer는 가장 긴 DNA 시퀀스 작업(Sus 대 Bos, 99.5번째 백분위수)에서 ROC-AUC 89%를 기록했으며, 모든 베이스라인보다 뚜렷이 뛰어나, 다른 모델들은 70% 이하로 떨어졌다.
• 합성 더하기 문제에서 ChordMixer는 최대 150만 토큰까지의 모든 시퀀스 길이에서 높은 정확도를 유지했다.
• 장기 문서 분류 작업에서 ChordMixer는 모든 트랜스포머 기반 모델을 능가했으며, 특히 긴 시퀀스 길이에서 뛰어난 성능을 보였다.
• Carassius 대 Labeo 분류 작업에서 ChordMixer는 모든 길이 백분위수에서 안정적인 ROC-AUC(~84~89%)를 유지했지만, 다른 모델들은 5,630 토큰을 초과하면 성능이 저하되었다.
• 제거 실험을 통해 ChordMixer의 뛰어난 성능는 분류기의 영향이 아니라 어텐션 메커니즘 덕분임을 확인했으며, 동일한 예측기로 다른 어텐션 모델과의 모든 조합보다 뛰어났다.
• Sus 대 Bos 데이터셋에서 ChordMixer는 모든 길이 백분위수에서 일관된 성능을 기록했으며, 이는 시퀀스 길이 변화에 대한 강건성을 시사한다.