[論文レビュー] Adaptive Computation with Elastic Input Sequence

Fuzhao Xue, Valerii Likhosherstov+4 more|arXiv (Cornell University)|Jan 30, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

AdaTapeは、変動する学習可能なテープを用いて、変動する入力系列を生成する、革新的な適応的計算フレームワークを導入している。これにより、変動するコンテンツと系列長の両方が可能となり、計算量を一定に保ったまま画像認識タスクで最先端の性能を達成する。標準的および適応的Transformerよりも優れた性能を発揮するが、これは新しい適応的テープ読み取り（ATR）機構のおかげで、テープバンクから有用なトークンを選択することができるためである。

ABSTRACT

Humans have the ability to adapt the type of information they use, the procedure they employ, and the amount of time they spend when solving problems. However, most standard neural networks have a fixed function type and computation budget regardless of the sample's nature or difficulty. Adaptivity is a powerful paradigm as it not only imbues practitioners with flexibility pertaining to the downstream usage of these models but can also serve as a powerful inductive bias for solving certain challenging classes of problems. In this work, we introduce a new approach called AdaTape, which allows for dynamic computation in neural networks through adaptive tape tokens. AdaTape utilizes an elastic input sequence by equipping an architecture with a dynamic read-and-write tape. Specifically, we adaptively generate input sequences using tape tokens obtained from a tape bank which can be either trainable or derived from input data. We examine the challenges and requirements to obtain dynamic sequence content and length, and propose the Adaptive Tape Reading (ATR) algorithm to achieve both goals. Through extensive experiments on image recognition tasks, we show that AdaTape can achieve better performance while maintaining the computational cost. To facilitate further research, we have released code at https://github.com/google-research/scenic.

研究の動機と目的

• 標準のTransformerにおける固定計算量予算の制限を是正すること。これは、入力の複雑さに応じて計算を調整できないためである。
• モデルの深さやスパースルーティングではなく、動的入力系列長およびコンテンツに基づく、適応的計算の新しいパラダイムを検討すること。
• 再トレーニングなしで推論時に計算量をスケーリング可能な柔軟な単一モデルソリューションを提供すること。
• 適応的入力系列が、ベクトルパリティタスクのような難易度の高い問題を解く強力なインダクティブバイアスとして機能できることを示すこと。

提案手法

• AdaTapeは、各入力サンプルの動的メモリとして機能する、学習可能または入力由来のトークンからなるテープバンクを導入する。
• 入力の複雑さに応じて、可変長のテープトークン列を再帰的に選択するための適応的テープ読み取り（ATR）アルゴリズムを採用する。
• 選択されたテープトークンは、標準のTransformerエンコーダに供給される前に入力系列に付加される。
• ATRは、各サンプルごとに読み込むテープトークン数を動的に決定する停止メカニズムを用いるため、サンプルごとの計算量が変動可能である。
• テープバンクはトレーニング可能なものまたは入力特徴（例：パッチ埋め込み）から導出可能であるため、コンテンツの適応性が可能である。
• 再帰的モデル適用やパラメータスパarsityを避けることで、計算効率を維持し、代わりに入力系列構造を変更する。

実験結果

リサーチクエスチョン

• RQ1 FLOPsを増加させずに、可変な入力系列長およびコンテンツを用いることで、モデル性能を向上させることができるか？
• RQ2 提案されたAdaTape機構により、標準のTransformerが困難なタスク（例：ベクトルパリティタスク）を解けるようになるか？
• RQ3 計算制約下で、既存の適応的手法と比較して、AdaTapeの推論速度と精度はどのように異なるか？
• RQ4 異なるハードウェアやバッチサイズにおいて、推論時に計算量を動的にスケーリング可能でありながら、高い性能を維持できるか？

主な発見

• FLOPsを同等に保った状態で、ImageNet-10-shot精度において標準のViTおよびDeiTモデルを上回る性能を達成しており、コンテンツ適応性を無効化した非適応的ベースラインと比較して2.3ポイントの向上を達成した。
• 難易度の高いベクトルパリティタスクにおいて、AdaTapeは、通常のTransformerが失敗する問題を効果的に解決した。これは、困難なタスクに対する強力なインダクティブバイアスであることを裏付けた。
• AdaTape-S/16は、より高い容量を持つにもかかわらず、Tinyレベルのベースラインよりも高速な推論を実現した。これは、可変な系列長による効率性の向上を示している。
• アブレーションスタディの結果、コンテンツ適応性を削除するとImageNet 10-shot精度が著しく2.3ポイント低下した。これは、性能向上におけるその重要性を確認した。
• より大きなAdaTapeモデルでは、系列長の分散が増加しており、計算コストの制御およびスケールに伴う適応性の向上を示している。
• 可視化の結果、AdaTapeは中心部に位置する、より有用な画像パッチを優先的に選択していることが確認され、人間の注視度に関する直感と整合的である。