[論文レビュー] TAPE: Task-Agnostic Prior Embedding for Image Restoration

Lin Liu, Lingxi Xie+6 more|arXiv (Cornell University)|Mar 11, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本論文は、トランスフォーマーに基づくアーキテクチャを用いて、ピクセル単位の対照的損失を介して多様なクリア画像データで事前学習することで、一般化されたタスクに依存しない事前分布を学習する二段階フレームワークであるタスクに依存しない事前埋め込み（TAPE）を提案する。タスク固有の微調整を経て、複数の修復タスクで最大1.45dBのPSNR向上を達成し、未学習の劣化タイプに対しても効果的に一般化され、タスク固有のモデルを上回る性能を示す。

ABSTRACT

Learning a generalized prior for natural image restoration is an important yet challenging task. Early methods mostly involved handcrafted priors including normalized sparsity, l_0 gradients, dark channel priors, etc. Recently, deep neural networks have been used to learn various image priors but do not guarantee to generalize. In this paper, we propose a novel approach that embeds a task-agnostic prior into a transformer. Our approach, named Task-Agnostic Prior Embedding (TAPE), consists of two stages, namely, task-agnostic pre-training and task-specific fine-tuning, where the first stage embeds prior knowledge about natural images into the transformer and the second stage extracts the knowledge to assist downstream image restoration. Experiments on various types of degradation validate the effectiveness of TAPE. The image restoration performance in terms of PSNR is improved by as much as 1.45dB and even outperforms task-specific algorithms. More importantly, TAPE shows the ability of disentangling generalized image priors from degraded images, which enjoys favorable transfer ability to unknown downstream tasks.

研究の動機と目的

• 特定の1つの修復タスクに特化しない、一般化可能で転送可能な画像事前分布を学習する課題に対処すること。
• 特定の劣化タイプに依存しない形で、クリア画像の事前分布と劣化アーティファクトを分離し、未学習の画像修復タスクへの転送を可能にすること。
• タスク固有の再訓練を必要とせず、複数の低レベルビジョンタスクで性能を向上させる統一されたフレームワークを開発すること。
• 1つの事前学習済み事前分布モジュールが、多様な下流修復タスクを効果的にサポートできるかどうかを検討すること。

提案手法

• タスクに依存しない事前学習（クリア画像で）と、その後にタスク固有の微調整（劣化画像で）を行う二段階トレーニングパイプラインを採用する。
• ピクセル単位の対照的損失を用いて、クリア画像から一般化された特徴を学習する事前分布モジュール（PLM）を訓練し、それらをクエリ埋め込みにエンコードする。
• トランスフォーマーのデコーダーがこれらのクエリ埋め込みを用いて入力からの関連特徴に注目することで、劣化画像の効果的な修復が可能になる。
• 事前学習フェーズでは、実際の劣化アノテーションを一切使用せず、複数の修復データセット（雨除去、ノイズ除去、モアレ除去など）のクリア画像データを用いる。
• 特定の劣化タイプに依存しない形で、クリア画像の事前分布と劣化アーティファクトを明示的に分離する。
• さまざまなトランスフォーマーバックボーンと互換性があり、特定のタスク向けにエンドツーエンドで微調整可能である。

実験結果

リサーチクエスチョン

• RQ1 クリア画像から1つのタスクに依存しない事前分布を学習し、複数の画像修復タスクに効果的に転送できるか？
• RQ2 ピクセル単位の対照的損失を用いてクリア画像で事前学習することで、未学習の劣化タイプへの一般化性能が向上するか？
• RQ3 クリア画像の事前分布と劣化アーティファクトの分離が、未知のタスクにおける性能に与える影響は何か？
• RQ4 提案された事前埋め込みは、PSNRおよび一般化性能の観点で、タスク固有のモデルをどの程度上回るか？

主な発見

• Rain200Lデータセットにおいて、TAPEはタスク固有のモデルを上回り、PSNRを1.45dB向上させた。
• 降雪除去、影除去、スーパーレンジング、ぼかし除去といった未学習タスクにおいて、それぞれ0.91dB、0.29dB、0.41dB、0.48dBのPSNR向上を達成した。
• SIDDデータセットにおいて、実際のノイズ画像にアクセスせずにクリア画像で事前学習しても、PSNRが0.31dB向上した。これはクリア画像事前分布の価値を示している。
• アブレーションスタディの結果、ネットワークθとPLMモジュールの事前学習が、バックボーンφの事前学習よりも重要であることが判明。それぞれ省略した場合、PSNRが0.22dBおよび0.34dB低下した。
• 事前学習におけるピクセル単位の対照的損失は、特徴の一般化を向上させ、多様なタスクで性能向上に寄与した。
• 可視化により、PLMの出力特徴がクリア画像からの構造的およびエッジ情報の保持を図りながら、劣化アーティファクトを効果的に抑制していることが確認された。