[論文レビュー] Self-supervision through Random Segments with Autoregressive Coding (RandSAC)

Tianyu Hua, Yonglong Tian+4 more|arXiv (Cornell University)|Mar 22, 2022

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

RandSACは、ビジョントランスフォーマー向けに、短距離（セグメント内）および長距離（セグメント間）の自己回帰的予測を可能にする、ランダムにシリアル化された階層的画像セグメントを用いた画期的な自己教師あり事前学習手法を提案する。セグメント内ではBERT風の並列予測、セグメント間ではGPT風の逐次予測を組み合わせることで、ImageNetおよびCIFARベンチマークで最先端の性能を達成し、MAE や iGPT といった非自己回帰的手法を上回るが、特に低データ環境下での優位性が顕著である。

ABSTRACT

Inspired by the success of self-supervised autoregressive representation learning in natural language (GPT and its variants), and advances in recent visual architecture design with Vision Transformers (ViTs), in this paper, we explore the effect various design choices have on the success of applying such training strategies for visual feature learning. Specifically, we introduce a novel strategy that we call Random Segments with Autoregressive Coding (RandSAC). In RandSAC, we group patch representations (image tokens) into hierarchically arranged segments; within each segment, tokens are predicted in parallel, similar to BERT, while across segment predictions are sequential, similar to GPT. We illustrate that randomized serialization of the segments significantly improves the performance and results in distribution over spatially-long (across-segments) and -short (within-segment) predictions which are effective for feature learning. We illustrate the pertinence of these design choices and explore alternatives on a number of datasets (e.g., CIFAR10, CIFAR100, ImageNet). While our pre-training strategy works with a vanilla Transformer, we also propose a conceptually simple, but highly effective, addition to the decoder that allows learnable skip-connections to encoder$'$s feature layers, which further improves the performance.

研究の動機と目的

• 自己回帰的事前学習戦略（自然言語処理分野で成功した手法）を、ビジョントランスフォーマーを用いて視覚分野に効果的に適応できるかを調査すること。
• トークン化の粒度、セグメントの形状、シリアル化順序が視覚的特徴学習性能に与える影響を調査すること。
• 自己回帰的画像モデリングにおける決定的ラスタ順序の限界を解消するため、ランダム化されたセグメント走査を導入すること。
• エンコーダーとデコーダーレイヤー間の学習可能なスキップ接続機構を導入することで、ViTの性能を向上させること。

提案手法

• 画像が階層的なセグメント（例：2×2パッチやボブ型領域）に分割され、マルチスケールのトークン表現が形成される。
• 各セグメント内でトークンが並列に予測される（BERT風）、一方でセグメントはランダムな順序で逐次的に予測される（GPT風）。
• セグメントのランダム化されたシリアル化により、データオーグメンテーションが実現され、予測タスクの分布が多様化し、一般化性能が向上する。
• エンコーダー特徴マップからの学習可能なスキップ接続を備えた新規なデコーダー・アーキテクチャが導入され、特徴の伝搬と表現品質が向上する。
• 対照的目標を必要とせず、セグメント予測における自己回帰的交差エントロピー損失を用いてモデルを訓練する。
• 標準的なViTバックボーンを用い、ImageNetおよびCIFARデータセットで事前学習を実施し、線形プローブおよび微調整による評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 セグメントの粒度や形状（例：正方形対ボブ型）の選択が、自己教師あり視覚表現学習に与える影響は何か？
• RQ2 自己回帰的画像モデリングにおいて、ランダム化されたセグメントシリアル化が、決定的ラスタ順序を上回る性能を発揮するか？
• RQ3 エンコーダーとデコーダーレイヤー間の学習可能なスキップ接続が、自己回帰的事前学習におけるViT性能を向上させられるか？
• RQ4 低データおよびフルデータ環境下で、RandSACは対照的およびマスキング自己符号化手法と比較してどのように性能を発揮するか？

主な発見

• RandSACは、ImageNet-1KでMAE や BEIT よりも優れた性能を発揮し、入力サイズを小さくした（192×192）にもかかわらず、線形プローブ精度72.3%、微調整精度83.7%を達成した。
• CIFAR-10およびCIFAR-100では、それぞれ93.9%および96.9%の線形プローブ精度を達成し、低データ事前学習下で教師ありDeiT-Bや他の自己教師あり手法を上回った。
• ランダム化されたセグメントシリアル化の使用は、ラスタ順序を上回る顕著な性能向上を示し、暗黙的なデータオーグメンテーションとしての有効性を実証した。
• デコーダーに導入された学習可能なスキップ接続機構は、すべてのベンチマークで一貫した性能向上をもたらした。
• 対照的目標を一切使用せず、かつ画像サイズを小さくしたにもかかわらず、DINO や MoCo v3 といった対照的手法と競合する結果を達成した。
• 本手法はデータセット間で優れた一般化性能を示し、スケーリングにも効果的に適応でき、正方形およびボブ型のセグメンテーションの両方で強力な結果をもたらした。