[論文レビュー] ChordMixer: A Scalable Neural Attention Model for Sequences with Different Lengths

Ruslan Khalitov, Tong Yu+2 more|arXiv (Cornell University)|Jun 12, 2022

Computational Physics and Python Applications被引用数 4

ひとこと要約

ChordMixer は、パラメータフリーのマルチスケール回転とチャネルごとのMLPを用いて、パディングやチャンク分割を必要とせずに可変長シーケンスを処理するスケーラブルなニューラルアテンションモデルである。長時間シーケンスタスクにおいて最先端の性能を達成し、合成的、文書的、DNA配列分類の分野で、特に極端に長い長さ（最大150万トークン）において、Transformerやその変種を上回る性能を発揮する。

ABSTRACT

Sequential data naturally have different lengths in many domains, with some very long sequences. As an important modeling tool, neural attention should capture long-range interaction in such sequences. However, most existing neural attention models admit only short sequences, or they have to employ chunking or padding to enforce a constant input length. Here we propose a simple neural network building block called ChordMixer which can model the attention for long sequences with variable lengths. Each ChordMixer block consists of a position-wise rotation layer without learnable parameters and an element-wise MLP layer. Repeatedly applying such blocks forms an effective network backbone that mixes the input signals towards the learning targets. We have tested ChordMixer on the synthetic adding problem, long document classification, and DNA sequence-based taxonomy classification. The experiment results show that our method substantially outperforms other neural attention models.

研究の動機と目的

• パディングやチャンク分割を伴わない神経アテンションによる可変長シーケンスのモデル化という課題に対処すること。
• 標準的なTransformerおよびその変種の二次関数的計算コストとスケーラビリティの制限を克服すること。
• 最小限のパラメータで、あらゆるシーケンス長において完全な受容場を維持するニューラルネットワークバックボーンを設計すること。
• 自然言語やゲノム学など、多様な分野のシーケンスにおける有効な長距離相互作用を可能にすること。
• 既存の手法が長さ制限のため性能が低下する長時間シーケンスタスクにおいて、優れた性能を示すこと。

提案手法

• パラメータフリーのマルチスケール回転層と学習可能なチャネルごとのMLPを備えた、ChordMixerというニューラルネットワークの基本モジュールを提案する。
• 繰り返しChordMixerブロックを適用することで、段階的にシーケンス位置間の情報を混合し、log₂Nブロックで完全な受容場を達成する。
• 学習可能なパラメータを持たない位置ごとの回転を用いるため、モデルサイズがシーケンス長に依存しない。
• パディングや切り出しを一切行わず、あらゆる長さのシーケンスを処理可能であり、可変長入力におけるエンドツーエンド学習を可能にする。
• あらゆるシーケンス長にわたって同一のアーキテクチャを採用し、長さ依存の設計選択を回避する。
• 標準的な予測器（例：分類器や回帰器）と統合可能であり、分類および回帰の両方のタスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 パディングやチャンク分割を伴わず、可変長シーケンスにおける長距離依存性を神経アテンション機構が効果的にモデル化できるか？
• RQ2 ChordMixerの性能は、多様な長さを有する長時間シーケンスにおいて、Transformerやその効率的変種と比較してどうなるか？
• RQ3 学習可能な位置エンコーディングや局所的なインダクティブバイアスの欠如が、長時間シーケンスにおける性能に悪影響を及えるか？
• RQ4 ChordMixerは、極端なシーケンス長のパーセンタイル（例：99番目～99.5番目）において、どれほど安定した性能を維持できるか？
• RQ5 ChordMixerは、合成的タスク、長文書分類、DNA配列分類の分野にまたがって一般化可能か？

主な発見

• DNA配列分類タスクの最長シーケンス（Sus対Bos、99.5番目のパーセンタイル）において、ChordMixerは89%のROC-AUCを達成し、すべてのベースラインを著しく上回った。ベースラインは70%未満に低下した。
• 合成的加算問題では、ChordMixerは150万トークンに達するあらゆるシーケンス長において高い精度を維持した。
• 長文書分類では、ChordMixerはすべてのTransformerベースのモデルを上回り、特に長時間シーケンスにおいて顕著な優位性を示した。
• Carassius 対 Labeo の分類タスクでは、ChordMixerは全長さパーセンタイルで安定したROC-AUC（約84～89%）を維持したが、他のモデルは5,630トークンを超えると性能が低下した。
• アブレーションスタディの結果、ChordMixerの優れた性能は分類器ではなく、アテンション機構に起因することが確認された。同じ予測器を用いた他のアテンションモデルのすべての組み合わせを上回った。
• Sus 対 Bos データセットにおいて、ChordMixerは唯一、あらゆる長さパーセンタイルで一貫した性能を達成した。これは、シーケンス長の変動に対して高いロバスト性を示している。