[論文レビュー] Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning

Aniket Didolkar, Kshitij Gupta+5 more|arXiv (Cornell University)|May 30, 2022

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本論文では、高速なTransformerベースの知覚ストリームと遅い再帰的ストリームを組み合わせた二ストリームアーキテクチャであるTemporal Latent Bottleneck (TLB)を提案する。固定長のチャンクから情報を圧縮されたボトルネック状態に押し込み、それを高速ストリームの条件付けに用いることで、序列学習タスクにおけるサンプル効率と一般化性能が向上し、視覚的知覚および意思決定ベンチマークにおいて強力なベースラインを上回る。特に、長序列コピータスクでは完璧な正確度を達成した。

ABSTRACT

Recurrent neural networks have a strong inductive bias towards learning temporally compressed representations, as the entire history of a sequence is represented by a single vector. By contrast, Transformers have little inductive bias towards learning temporally compressed representations, as they allow for attention over all previously computed elements in a sequence. Having a more compressed representation of a sequence may be beneficial for generalization, as a high-level representation may be more easily re-used and re-purposed and will contain fewer irrelevant details. At the same time, excessive compression of representations comes at the cost of expressiveness. We propose a solution which divides computation into two streams. A slow stream that is recurrent in nature aims to learn a specialized and compressed representation, by forcing chunks of $K$ time steps into a single representation which is divided into multiple vectors. At the same time, a fast stream is parameterized as a Transformer to process chunks consisting of $K$ time-steps conditioned on the information in the slow-stream. In the proposed approach we hope to gain the expressiveness of the Transformer, while encouraging better compression and structuring of representations in the slow stream. We show the benefits of the proposed method in terms of improved sample efficiency and generalization performance as compared to various competitive baselines for visual perception and sequential decision making tasks.

研究の動機と目的

• 標準のTransformerには時系列圧縮に向けたインダクティブバイアスが欠如しており、これがサンプル効率の低下と過学習を引き起こすため、その問題を解消すること。
• 認知科学にインspiredされた、高速で高容量の処理（例：Transformer）と、遅く圧縮された長期記憶（例：RNN）を統合すること。
• 学習可能なボトルネックを通じて選択的で階層的なアテンションを導入することで、一般化性能とサンプル効率を向上させること。
• 全序列アテンションではなく、チャンク内およびチャンク間のボトルネック相互作用に限定することで、計算複雑性を低減すること。

提案手法

• 入力系列はK時間ステップの固定サイズのチャンクに分割される。
• 高速ストリームは標準のTransformerとして実装され、各チャンクを独立して処理し、細粒度で局所的な表現を捉える。
• 遅いストリームは再帰的ネットワークとして実装され、1チャンクごとに1回更新され、系列履歴の圧縮された高レベル表現を維持する。
• 遅いストリームの隠れ状態は、時系列の潜在的ボトルネック（TLB）として機能し、複数のチャンクにまたがる長距離依存関係を要約する。
• 高速ストリームはクロスアテンションにより現在のTLB状態に注目することで、長期記憶に基づいた文脈に適した処理が可能になる。
• TLBから高速ストリームへのトップダウンフィードバックにより、文脈モデリングが強化され、長距離タスクでの性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 高速な局所処理と遅い圧縮表現学習を組み合わせた二ストリームアーキテクチャは、序列モデリングにおけるサンプル効率を向上させることができるか？
• RQ2 長期記憶のための学習可能な再帰的ボトルネックを導入することで、分布外および長時間スパンのタスクにおける一般化性能が向上するか？
• RQ3 TLB機構は、全アテンションTransformerや他の効率的アテンション変種と比較して、性能と計算コストの面でどのように差をつけるか？
• RQ4 ボトルネックから高速ストリームへのトップダウンアテンションは、モデル性能をどの程度向上させるか？
• RQ5 標準のTransformerが失敗する長序列コピータスクにおいて、TLB機構は完璧な正確度を維持できるか？

主な発見

• 提案されたTransformer + TLBモデルは、ListOpsタスクで38.20 ± 0.0001%の正確度を達成し、以前のチャンクに注目するベースライン（32.10 ± 0.019%）を顕著に上回った。これは、TLBが長距離依存関係を的確に捉える能力を有することを示している。
• コピータスクにおいて、系列長が600までにわたり完璧な正確度を達成した一方で、Feedback Transformerベースラインは400トークンを超えると失敗し始め、長距離文脈一般化性能に優れていることが示された。
• TLBモデルは、すべての系列長において、コピータスクで完璧な正確度に到達するための独自のサンプル数が少なく、Feedback Transformerよりもサンプル効率に優れていた。
• TLBから高速ストリームへのトップダウンアテンションを除去すると、性能は37.57 ± 0.003%に低下し、最適な性能を発揮するためには高レベルのフィードバックが不可欠であることが確認された。
• 視覚的知覚および順序的意思決定の多様なタスクにおいて、TLBモデルは一般化性能とサンプル効率の両面で一貫した向上を示した。