[論文レビュー] Masked Autoencoders as Image Processors

Huiyu Duan, Wei Shen+5 more|arXiv (Cornell University)|Mar 30, 2023

Image Processing Techniques and Applications被引用数 5

ひとこと要約

本稿では、チャネルアテンションとシフトドウインドウ自己注意機構を統合した新規なトランスフォーマー型アーキテクチャ、CSformerを用いた自己教師あり事前学習フレームワーク、MAEIP（Masked Autoencoders as Image Processors）を提案する。MAEIPは、マスクされたパッチと完全な画像の両方を同時に再構築することで、ガウスノイズ除去、実画像ノイズ除去、運動ぶれぼかし、ボケぼかし除去、雨除去の各タスクで最先端の性能を達成し、教師ありおよび自己教師ありのベースラインと比較して顕著な性能向上を示す。

ABSTRACT

Transformers have shown significant effectiveness for various vision tasks including both high-level vision and low-level vision. Recently, masked autoencoders (MAE) for feature pre-training have further unleashed the potential of Transformers, leading to state-of-the-art performances on various high-level vision tasks. However, the significance of MAE pre-training on low-level vision tasks has not been sufficiently explored. In this paper, we show that masked autoencoders are also scalable self-supervised learners for image processing tasks. We first present an efficient Transformer model considering both channel attention and shifted-window-based self-attention termed CSformer. Then we develop an effective MAE architecture for image processing (MAEIP) tasks. Extensive experimental results show that with the help of MAEIP pre-training, our proposed CSformer achieves state-of-the-art performance on various image processing tasks, including Gaussian denoising, real image denoising, single-image motion deblurring, defocus deblurring, and image deraining.

研究の動機と目的

• マスクドオートエンコーダー（MAE）が、ノイズ除去やぼかし除去といった低レベルビジョンタスクへ効果的に拡張可能かどうかを検証すること。
• チャネルアテンションとシフトドウインドウ自己注意機構を統合した、画像処理における性能と効率性を向上させる効率的なトランスフォーマー型アーキテクチャ、CSformerの設計。
• マスクされたパッチと完全な画像の両方を再構築することで、画像処理に特化した新たなMAEベースの事前学習フレームワーク、MAEIPの開発。
• MAEIPによる自己教師あり事前学習が、多様な画像修復ベンチマークにおいて顕著な性能向上をもたらすことを実証すること。

提案手法

• 階層的設計を備えたU字型のトランスフォーマー、CSformerを提案。長距離依存関係のモデリングと計算効率の両方を向上させるために、チャネルごとのアテンションとシフトドウインドウ自己注意機構を統合。
• ランダムにマスクされた画像パッチを入力とし、エンコーダーでマスクされたパッチを再構築するとともに、デコーダーで完全な画像を再構築する、MAEIPと呼ばれるマスクドオートエンコーディングフレームワークを設計。
• 空間的詳細の保持と再構築品質の向上を目的として、スキップ接続を備えたU-Netスタイルのアーキテクチャを採用。
• エンコーダーに直接マスクされたパッチを入力する形で、ピクセルレベルの直接再構築を事前学習の目的関数として採用。SIMMIMと同様のアプローチを採用。
• 効率性を向上させるために、2段階の事前学習戦略を採用。まずエンコーダーを事前学習し、その後にフルモデルを微調整。
• 事前学習済みのCSformerを、標準的な教師あり損失関数を用いた微調整により、下流の画像修復タスクに適用。

実験結果

リサーチクエスチョン

• RQ1 高レベルビジョンで有効なマスクドオートエンコーダー（MAE）は、ノイズ除去やぼかし除去といった低レベル画像処理タスクへ一般化可能か？
• RQ2 チャネルアテンションとシフトドウインドウ自己注意機構の統合が、画像修復用トランスフォーマーの性能と効率性にどのように寄与するか？
• RQ3 MAEIPによるマスクパッチと完全な画像の共同再構築は、単一目的の事前学習よりも優れた特徴学習を実現するか？
• RQ4 事前学習の長さとトレーニングスケジュールが、画像修復タスクの下流性能に与える影響は何か？

主な発見

• 提案されたCSformer-T2は、SIDDテストセットで39.77 dBのPSNRを達成し、Uformer-Sと同等の性能を発揮しながら、計算コストを43.86 GMACsから13.50 GMACsにまで削減した。
• MAEIPによる事前学習は、Rain100LおよびTest100データセット全体で平均0.5 dBの性能向上を実現し、事前学習なしの状態と比較して顕著な改善を示した。
• エンコーダーとデコーダーの両方の出力を再構築する（MAEIP）ことで、エンコーダーのみまたはデコーダーのみの事前学習よりも優れた性能を達成した。これは、共同再構築の利点を示している。
• 2段階の事前学習戦略により、全60エポックの事前学習と比較して25％のトレーニング時間を短縮しながら、同等の性能を達成した。
• 60エポックの事前学習は30エポックのものよりも下流タスクで優れた性能を示し、より長い事前学習スケジュールの利点を裏付けた。
• MAEIPフレームワークは大規模モデルへも良好に一般化され、ガウスノイズ除去、実画像ノイズ除去、運動ぶれぼかし、ボケぼかし除去、画像の雨除去の各タスクで最先端の結果を達成した。