[論文レビュー] Vision-TTT: Efficient and Expressive Visual Representation Learning with Test-Time Training

Quan Kong, Yanru Xiao+2 more|arXiv (Cornell University)|Feb 28, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

Vision-TTTは、視覚シーケンスに対してテスト時トレーニングを適用することで線形時間の視覚バックボーンを実現し、解像度を高くしてもFLOPsとメモリを大幅に削減しつつ競争力のあるImageNet精度を達成する。デュアルデータセットとConv2d前処理を用いて、グローバルに放射状受容野を持つ2D視覚相関をモデル化する。

ABSTRACT

Learning efficient and expressive visual representation has long been the pursuit of computer vision research. While Vision Transformers (ViTs) gradually replace traditional Convolutional Neural Networks (CNNs) as more scalable vision learners, their applications are plagued by the quadratic complexity of the self-attention mechanism. To address the challenge, we introduce a new linear-time sequence modeling method Test-Time Training (TTT) into vision and propose Vision-TTT, which treats visual sequences as datasets and compresses the visual token sequences in a novel self-supervised learning manner. By incorporating the dual-dataset strategy and Conv2d-based dataset preprocessing, Vision-TTT effectively extends vanilla TTT to model 2D visual correlations with global receptive fields. Extensive experiments show that exttt{Vittt-T/S/B} achieve $77.7\%,81.8\%,82.7\%$ Top-1 accuracy on ImageNet classification and also greatly outperform their counterparts on downstream tasks. At $1280 imes1280$ resolution, exttt{Vittt-T} reduces FLOPs by $79.4\%$ and runs $4.72 imes$ faster with $88.9\%$ less memory than DeiT-T. These results demonstrate the expressiveness and efficiency of Vision-TTT as a strong candidate for the next-generation generic visual backbone.

研究の動機と目的

• ViTsにおける二次式の自己注意を超えた効率的で表現力豊かな視覚バックボーンの必要性を動機づける。
• 視覚トークン意味論を圧縮するためにテスト時トレーニングを用いるVision-TTTを提案する。
• デュアルデータセットとConv2dベースの前処理により、2D視覚を拡張して vanilla TTT を拡張する。
• ImageNetおよび下流タスクで競合的な精度と線形計算・メモリ複雑性を示す。

提案手法

• 視覚トークンシーケンスをデータセットとして扱い、勾配ベースの自己教師付き更新（TTT）を行い、意味論を隠れ状態に圧縮する。
• 双方向の空間コンテキスト（前方と後方）を導入するデュアルデータセット戦略を採用し、2Dデータ拡張のためのConv2d前処理を使用する。
• パッチ化段階の後にVision-TTTエンコーダブロック（Vitttブロック＋SwiGluMLP）と監督用タスクアダプタを配置する。
• Q/K射影を共有してパラメータを削減し、勾配駆動学習を平均プーリングまたは線形ヘッドで分類を行う。
• シーケンス長に対して線形複雑性を実現するためのハードウェア対応の線形時間カーネル（Tensor Cores）とバッチごとの勾配更新を実装する。
• 勾配ベースのトークン重要度マップ（GMM）およびERF分析による解釈可能性のメカニズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 テスト時トレーニングを、線形複雑性で2D視覚表現学習へ効果的に適用できるか。
• RQ2 デュアルデータセットとConv2d前処理は、グローバル受容野を持つ2D空間相関を捉える Vision-TTT を可能にするか。
• RQ3 Vision-TTT は ViT、Vim、その他の線形/SSMベースモデルと比較して、ImageNetおよび下流タスクで複数のスケールでどのように性能を示すか。
• RQ4 1280x1280 のような高解像度での Vision-TTT の効率（FLOPs、メモリ、スループット）のトレードオフはどうなるか。
• RQ5 ミニバッチサイズ、初期状態、分類戦略などの設計選択が性能に与える影響は何か。

主な発見

• Vittt-T、Vittt-S、Vittt-B は ImageNet-1K でそれぞれ Top-1 精度 77.7%、81.8%、82.7% を達成。
• 1280x1280 解像度で、Vittt-T/S/B は FLOPs をそれぞれ 79.4%、66.3%、48.9%節約し、DeiT-T/S/B と比較してそれぞれ 4.72x、4.23x、3.88x の速度向上と 88.9% のメモリ削減を実現。
• 下流の COCO 検出と ADE20K セマンティングで、Vittt-T/S/B は Vim および関連ベースラインを上回る（論文での AP^b、AP^m、mIoU の向上が記録として示されている）。
• Vittt は線形時間計算とメモリを示し、高解像度シナリオで二次式 ViT を上回り、効率的な視覚バックボーンを提供する。