[論文レビュー] An Algorithm for Routing Vectors in Sequences

Franz A. Heinsen|arXiv (Cornell University)|Nov 20, 2022

Machine Learning in Bioinformatics被引用数 9

ひとこと要約

この論文は、データの使用による利益と無視した際のコストの差である「ビットあたりの利益（bang per bit）」を最大化することで、入力系列から出力ベクトルを計算する、非常に最適化されたルーティングアルゴリズムを導入している。この手法は、エンドツーエンドの信用割り当てを可能にする4つの微分可能なニューラルネットワークを用い、パラメータ共有、遅延評価、テンソル縮約最適化によって、メモリと計算量を桁違いに削減しながら、自然言語処理およびビジョンタスクで最先端の精度を達成している。

ABSTRACT

We propose a routing algorithm that takes a sequence of vectors and computes a new sequence with specified length and vector size. Each output vector maximizes "bang per bit," the difference between a net benefit to use and net cost to ignore data, by better predicting the input vectors. We describe output vectors as geometric objects, as latent variables that assign credit, as query states in a model of associative memory, and as agents in a model of a Society of Mind. We implement the algorithm with optimizations that reduce parameter count, computation, and memory use by orders of magnitude, enabling us to route sequences of greater length than previously possible. We evaluate our implementation on natural language and visual classification tasks, obtaining competitive or state-of-the-art accuracy and end-to-end credit assignments that are interpretable.

研究の動機と目的

• 深層学習における信用割り当て問題に取り組み、モデルの意思決定を入力コンポonentに解釈可能に帰属づけること。
• 計算量とメモリの複雑性を低減することで、ルーティングアルゴリズムを長大なシーケンス（最大100万ベクトル）にスケーリングすること。
• 幾何学的、潜在変数、連想記憶、Mindの社会的アプローチといった複数の理論的視点を、1つのルーティングフレームワークに統合すること。
• 大規模なNLPおよびビジョンベンチマークで競争力のある性能を達成しつつ、最小限の計算オーバーヘッドを実現するルーティングシステムを実装すること。
• モデルの分析やデバッグに役立てるため、完全に解釈可能で微分可能なルーティングメカニズムを提供し、エンドツーエンドの信用割り当てを可能にすること。

提案手法

• アルゴリズムは4つのニューラルネットワークを用いる：$\mathcal{A}$ は入力活性スコアを計算し、$\mathcal{F}$ は入力から提案される出力ベクトルを生成し、$\mathcal{G}$ は出力から入力を予測し、$\mathcal{S}$ は予測値と実際の入力の一致度をスコア化する。
• 出力ベクトルは「ビットあたりの利益（bang per bit）」を最大化することで、並列に反復的に更新される。これは、データを使用した際のネット利益と、無視した際のネットコストの差として定義される。
• ネットワーク $\mathcal{F}$ は、スケーリングされたテンソル積と線形変換に位置ごとのバイアスを組み合わせた構成として最適化され、パラメータ数を著しく削減する。
• $\mathcal{F}$ の出力の遅延評価により、中間値の保存を回避し、メモリ使用量を桁違いに削減する。
• 更新された出力状態の計算は、効率的なテンソル縮約に分解され、メモリと計算量の両方を最小限に抑える。
• この手法は、入力長、ベクトルサイズ、出力ベクトル数、出力サイズに対して線形スケーリングを実現し、リソース使用量の制御が可能になる。

実験結果

リサーチクエスチョン

• RQ1 長大なシーケンス（例：100万ベクトル）にスケーリング可能でありながら、低メモリ・低計算量を維持できるルーティングアルゴリズムを設計できるか？
• RQ2 「ビットあたりの利益（bang per bit）」最適化は、深層ネットワークにおけるより優れた予測性能とより解釈可能な信用割り当てをもたらすか？
• RQ3 幾何学的、潜在変数、連想記憶、マルチエージェントシステムの視点を、どのように統合的ルーティングフレームワークに統合できるか？
• RQ4 ルーティングメカニズムは、大規模なNLPおよびビジョンベンチマークで最先端の精度を達成しつつ、エンドツーエンドの信用割り当てを可能にするか？
• RQ5 パラメータ共有、遅延評価、テンソル最適化によって、計算およびメモリのオーバーヘッドをどの程度低減できるか？

主な発見

• アルゴリズムは、1024要素を有する100万ベクトルのシーケンスを効果的にルーティングでき、従来のルーティング手法をはるかに超えるスケーラビリティを示した。
• IMDBセンチメント分類タスクでは96.2%の精度を達成し、新たな最先端の結果を記録した。
• ImageNet-1K分類ではBEiT-largeを用いて86.7%のトップ-1精度を達成し、ビジョンベンチマークでの強力な性能を示した。
• エンドツーエンドの信用割り当て行列は最大4925 × 1000要素まで計算可能であり、サブワードトークンや画像パッチへの細分化された帰属づけが可能になった。
• 観察された最大の信用割り当て行列は、196パッチの画像入力に25のTransformer深さレベルを適用した場合であり、空間的および階層的な帰属づけの詳細な可視化が可能になった。
• 信用割り当ては解釈可能である：ビジョンタスクでは、より深い層で特定の身体部位（例：鼻、足）に注目が向くのに対し、NLPタスクでは、感情に寄与するキーフレーズが複数の層にわたり関連づけられる。