[論文レビュー] AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

Yuning Cui, Syed Waqas Zamir+4 more|arXiv (Cornell University)|Mar 21, 2024

Advanced Optical Sensing Technologies被引用数 9

ひとこと要約

AdaIRは、周波数マイニングとモジュレーションを用いて、1つのフレームワーク内で多様な劣化（ノイズ、霧、雨、ブラー、低照度）に対処する適応型の全機能統合画像復元モデルで、複数のタスクで最先端の成果を達成します。

ABSTRACT

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.

研究の動機と目的

• 複数の劣化を、劣化タイプ情報なしで処理できる単一のモデルの必要性を動機づける。
• 周波数ドメインの知識を活用して、劣化特有の周波数パターンに合わせた復元を行う。
• Adaptive Frequency Learning Block（AFLB）とFrequency Mining Module（FMiM）およびFrequency Modulation Module（FMoM）を導入する。
• ノイズ除去、霧除去、雨除去、動体ブラー除去、低照度強化の分野で最先端の性能を示す。

提案手法

• AFLBを、劣化入力の適応的に分離されたスペクトルに導かれて低周波・高周波特徴を抽出するプラグインブロックとして提案する。
• FMiMは、劣化入力をスペクトル領域へ変換して周波数成分を抽出し、適応的な周波数マスクを生成し、クロスアテンション機構を介して周波数対応の特徴を抽出する。
• FMoMは、H-L（高から低への空間アテンション）とL-H（低から高へのチャネルアテンション）ユニットを介して、低周波および高周波の抽出特徴間のクロス相互作用を可能にする。
• AFLBを4レベルのTransformerベースのエンコーダ-デコーダに統合し、段階的にクリーンな画像を再構築する。
• 交差注意機構を用いた転置メカニズムで、変調された周波数特徴を空間特徴へ戻して復元に統合する。

実験結果

リサーチクエスチョン

• RQ1 明示的な劣化タイプ情報なしで、単一のモデルが複数の劣化タイプを持つ画像を復元できるか？
• RQ2 周波数ドメインの機構（FMiM/FMoM）は、全てを一括復元する際に純粋な空間的手法より有意な利得をもたらすか？
• RQ3 適応的な周波数境界は、ノイズ除去、霧除去、雨除去、ブレ除去、低照度強化の各タスクにおける復元にどのように影響するか？

主な発見

• AdaIRは、ノイズ除去、霧除去、雨除去、動体ブラー除去、低照度強化を含む全体統合復元タスクで最先端の性能を達成します。
• 全体統合設定で、AdaIRはPromptIRより平均0.63 dB PSNR、AirNetより1.49 dB PSNR高い。
• 雨除去において、PromptIRに対して2.27 dB PSNRの改善を示す。
• 5種類の劣化を含む全一設定で、AdaIRはIDRより平均1.86 dB PSNRの向上を達成し、特に霧除去で5 dB超の大きな改善を示す。
• アブレーション研究では、FMiM単独で固定マスクベースのベースラインに比べPSNRを1.58 dB改善し、L-HとH-Lユニットを組み合わせると大きな利益を生み、周波数認識モジュレーションの有効性を確認した。