[論文レビュー] Exploring Long-Sequence Masked Autoencoders

Ronghang Hu, Shoubhik Debnath+2 more|arXiv (Cornell University)|Oct 13, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文は、マスクサイズをパッチサイズから分離することで、追加の推論コストなしに長時間の入力シーケンスにおける有効な事前学習を可能にする長時間シーケンスマスク化自己符号化器（MAE）を提案する。隣接するパッチ（例：2×2のグループ）を同時にマスクすることで、再構成の難易度を維持し、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションの複数のデータセットにおいて一貫した性能向上を達成する。特に COCO および ADE20K で顕著な改善が見られ、長時間シーケンスを用いた場合でも ImageNet-1K で強力な結果を達成する。

ABSTRACT

Masked Autoencoding (MAE) has emerged as an effective approach for pre-training representations across multiple domains. In contrast to discrete tokens in natural languages, the input for image MAE is continuous and subject to additional specifications. We systematically study each input specification during the pre-training stage, and find sequence length is a key axis that further scales MAE. Our study leads to a long-sequence version of MAE with minimal changes to the original recipe, by just decoupling the mask size from the patch size. For object detection and semantic segmentation, our long-sequence MAE shows consistent gains across all the experimental setups without extra computation cost during the transfer. While long-sequence pre-training is discerned most beneficial for detection and segmentation, we also achieve strong results on ImageNet-1K classification by keeping a standard image size and only increasing the sequence length. We hope our findings can provide new insights and avenues for scaling in computer vision.

研究の動機と目的

• 入力シーケンス長がコンピュータビジョンにおけるマスク化自己符号化に与える影響を調査すること、特に長時間で高解像度の入力に対して焦点を当てる。
• 標準的な画像解像度を超えてシーケンス長を拡大することで、下流の推論コストを増加させずに表現学習が向上するかどうかを特定すること。
• 標準的な MAE に最小限の変更を加え、マスクサイズとパッチサイズを分離することで、長時間シーケンスの事前学習を可能にする手法を開発すること。
• 複数のベンチマークでオブジェクト検出、セグメンテーション、画像分類を含む多様な視覚タスクに対して、本手法の効果を評価すること。
• 長時間シーケンスの事前学習が、インスタンスセグメンテーションやセマンティックセグメンテーションのような高コンテキストの複雑なタスクにおいて特に有益であることを示すこと。

提案手法

• 隣接するパッチ（例：2×2）を1つのマスク化ユニットとしてグループ化することで、マスクサイズとパッチサイズを分離する。これにより、長時間シーケンスでもタスクの難易度を維持できる。
• データローダーを変更し、パッチのマスクを個別に生成するのではなく、同時に生成することで、一貫したマスク比率と難易度を維持する。
• ViT-Bのエンコーダーとバランスを保つために、デコーダーを小型化（隠れ層サイズ384、ヘッド数12）する。特に長時間シーケンス設定で有効である。
• シーケンス長が196パッチ（224×224画像）から784パッチ（512×512画像）に増加しても、再構成の難易度を維持するために、共通のマスク化を適用する。
• 必要に応じて、デコーダーのシーケンス長を短くするために、学習可能な2×2畳み込み層を用いる。これにより、再構成時の空間解像度を保持できる。
• COCOの未ラベル2017スプリット（241,690枚の画像）を含む拡張データセットを用いて事前学習を行い、データサイズを2倍に増やし、下流の転送性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マスク化自己符号化における入力シーケンス長を延長することで、コンピュータビジョンにおける表現学習が向上するか？
• RQ2 長時間シーケンスMAEは、オブジェクト検出やセグメンテーションのような密度予測タスクで、下流の推論コストを増加させずにより良い性能を達成できるか？
• RQ3 マスクサイズをパッチサイズから分離することで、長時間シーケンスMAEの安定性と性能にどのような影響が生じるか？
• RQ4 長時間シーケンスの事前学習の利点は、標準的な画像分類よりも、高コンテキストで複雑なシーンに特化したタスク（例：インスタンスセグメンテーション）に対して顕著に現れるか？
• RQ5 長時間シーケンスMAEは、入力解像度を増加させずに、競争力のあるImageNet-1Kの精度を達成できるか？

主な発見

• 長時間シーケンスMAEは、下流の推論コストを増加させずに、COCOオブジェクト検出で1.3 APb、1.2 APmの向上を達成し、ADE20Kセマンティックセグメンテーションで2.6 mIoUの向上を示した。
• COCOでは、ViT-Bが長時間シーケンスMAEを用いることで、ベースラインの49.7と44.1に比べ、51.0 APbと45.3 APmを達成した。
• ViT-Lでは、さらに顕著な向上が見られた：ベースラインの50.7と44.9に比べ、52.3 APbと46.4 APmを達成し、ADE20Kで3.0 mIoUの改善を示した。
• COCOのtrain2017とunlabeled2017スプリット（241,690枚の画像）を組み合わせたデータセットで事前学習を実施したことで、下流の性能が顕著に向上した。これは、長時間シーケンスMAEがより大きなデータセットへスケーラブルであることを確認した。
• ImageNet-1Kでは、512×512入力を使用した長時間シーケンスMAEがトップ-1精度83.4%を達成し、448×448評価で標準的な224×224クランプを用いた場合と同等の性能を示した。
• 性能向上は特に密度予測タスクで顕著であり、これは長時間シーケンスが複雑なシーンにおける文脈的・空間的依存関係をよりよく捉えていることを示唆している。