[論文レビュー] Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction

Zeshuai Deng, Zhuokun Chen+4 more|arXiv (Cornell University)|Oct 29, 2023

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、2次劣化スキームと自己教師型特徴再構成を用いてドメインシフトを解消する、画像超解像のための高速なテスト時適応フレームワークSRTTAを提案する。劣化タイプは事前学習済み分類器を用いて特定され、2次劣化画像から擬似ペairedデータが生成され、最小限の計算量でSRモデルが効率的に適応され、多様な実世界および合成劣化タイプにおいて最先端の性能を達成する。

ABSTRACT

Image super-resolution (SR) aims to learn a mapping from low-resolution (LR) to high-resolution (HR) using paired HR-LR training images. Conventional SR methods typically gather the paired training data by synthesizing LR images from HR images using a predetermined degradation model, e.g., Bicubic down-sampling. However, the realistic degradation type of test images may mismatch with the training-time degradation type due to the dynamic changes of the real-world scenarios, resulting in inferior-quality SR images. To address this, existing methods attempt to estimate the degradation model and train an image-specific model, which, however, is quite time-consuming and impracticable to handle rapidly changing domain shifts. Moreover, these methods largely concentrate on the estimation of one degradation type (e.g., blur degradation), overlooking other degradation types like noise and JPEG in real-world test-time scenarios, thus limiting their practicality. To tackle these problems, we present an efficient test-time adaptation framework for SR, named SRTTA, which is able to quickly adapt SR models to test domains with different/unknown degradation types. Specifically, we design a second-order degradation scheme to construct paired data based on the degradation type of the test image, which is predicted by a pre-trained degradation classifier. Then, we adapt the SR model by implementing feature-level reconstruction learning from the initial test image to its second-order degraded counterparts, which helps the SR model generate plausible HR images. Extensive experiments are conducted on newly synthesized corrupted DIV2K datasets with 8 different degradations and several real-world datasets, demonstrating that our SRTTA framework achieves an impressive improvement over existing methods with satisfying speed. The source code is available at https://github.com/DengZeshuai/SRTTA.

研究の動機と目的

• テスト時劣化がトレーニング時劣化モデルと異なる画像超解像におけるドメインシフト問題に対処すること。
• トレーニング元データにアクセスできない状況下で、未知または複数の劣化タイプ（例：ぼかし、ノイズ、JPEG）に事前学習済みSRモデルを迅速に適応させること。
• 反復的最適化を最小限に抑えることで、従来のゼロショットおよびメタラーニングベースの適応手法の高い推論コストを克服すること。
• 自己教師型再構成損失を通じて、多様な実世界劣化タイプに対する耐性および一般化性能を向上させること。
• 適応過程で事前学習モデルの知識を保持し、深刻な忘却を防ぐこと。

提案手法

• テスト画像をランダムに選択された劣化タイプを2回適用することで、擬似ペaired学習データを生成する2次劣化スキームを提案する。
• テスト画像内の主要な劣化タイプを特定するために、事前学習済みの劣化分類器を用いる。
• テスト画像とその2次劣化画像の間で特徴を一致させるために、自己教師型の2次再構成損失を設計し、高解像度画像の教師なしに効果的な適応を可能にする。
• 特徴レベルの再構成学習を適用し、擬似ペairedデータを用いてSRモデルを微調整することで、複数の劣化タイプを逆転する能力を学習させる。
• 適応中に事前学習モデルの知識を保持するための適応的パラメータ保持戦略を導入し、忘却を軽減し、安定性を向上させる。
• 単一の順方向伝搬で動作するため、劣化状態が急速に変化する環境でもリアルタイムでのデプロイが可能で、非常に効率的である。

実験結果

リサーチクエスチョン

• RQ1 トレーニング元データにアクセスできない状況下で、テスト時適応フレームワークが未知または複数の劣化タイプを効果的に処理できるか。
• RQ2 多様な劣化タイプに適応するため、効率的に擬似ペairedデータを構築する方法は何か。
• RQ3 2次劣化と再構成学習は、1次劣化や単一劣化アプローチと比較して、複雑な実世界劣化に対してSRモデルの耐性を向上させられるか。
• RQ4 従来のゼロショットまたはメタラーニングベースの手法と比較して、提案手法は適応時間をどれほど短縮できるか。
• RQ5 合成および実世界の両環境において、ぼかし、ノイズ、JPEGアーチファクトを含むさまざまな劣化タイプに、この手法はどれほど一般化性能を示すか。

主な発見

• SRTTAは、8種類の劣化タイプを含む新規に構築されたDIV2K-Cデータセットで、PSNRおよびLPIPSの両面で最先端の性能を達成した。
• DPED、ADE20K、OST300などの実世界データセットにおいて、SRTTAはベースラインモデルと比較して、アーチファクトが少なく、元の画像の詳細がよりよく保持されたHR画像を一貫して生成した。
• ガウスノイズ、ぼかし、JPEG圧縮といった挑戦的な劣化タイプに対しても、顕著な性能向上を達成した。特に、複数の劣化タイプが混在するテスト画像に対しても有効であった。
• SRTTAは適応時間をほぼ即時の推論速度にまで短縮し、劣化タイプが急速に変化する動的環境でのリアルタイムデプロイを可能にした。
• アブレーションスタディにより、2次劣化スキームと再構成損失が重要な構成要素であることが確認され、これらを除去すると性能が著しく低下した。
• 適応的パラメータ保持戦略は、深刻な忘却を効果的に緩和し、長期間にわたるデプロイ環境における複数の適応ステップでも高い性能を維持した。