[論文レビュー] RIDCP: Revitalizing Real Image Dehazing via High-Quality Codebook Priors

Ruiqi Wu, Zheng-Peng Duan+3 more|arXiv (Cornell University)|Apr 8, 2023

Image Enhancement Techniques被引用数 10

ひとこと要約

RIDCP は pre-trained VQGAN からの高品質なコードブック priors を導入し、制御可能な HQPs matching 機構を用いて real-image dehazing を改善し、現象論的な劣化パイプラインを用いて現実的な hazy データを合成する。

ABSTRACT

Existing dehazing approaches struggle to process real-world hazy images owing to the lack of paired real data and robust priors. In this work, we present a new paradigm for real image dehazing from the perspectives of synthesizing more realistic hazy data and introducing more robust priors into the network. Specifically, (1) instead of adopting the de facto physical scattering model, we rethink the degradation of real hazy images and propose a phenomenological pipeline considering diverse degradation types. (2) We propose a Real Image Dehazing network via high-quality Codebook Priors (RIDCP). Firstly, a VQGAN is pre-trained on a large-scale high-quality dataset to obtain the discrete codebook, encapsulating high-quality priors (HQPs). After replacing the negative effects brought by haze with HQPs, the decoder equipped with a novel normalized feature alignment module can effectively utilize high-quality features and produce clean results. However, although our degradation pipeline drastically mitigates the domain gap between synthetic and real data, it is still intractable to avoid it, which challenges HQPs matching in the wild. Thus, we re-calculate the distance when matching the features to the HQPs by a controllable matching operation, which facilitates finding better counterparts. We provide a recommendation to control the matching based on an explainable solution. Users can also flexibly adjust the enhancement degree as per their preference. Extensive experiments verify the effectiveness of our data synthesis pipeline and the superior performance of RIDCP in real image dehazing.

研究の動機と目的

• 実データの対が不足していることと頑健な prior の不足を解決して実世界の dehazing を動機づける。
• diverse な劣化タイプにわたる現実的な hazy 画像を合成する現象論的な劣化パイプラインを提案する。
• 事前学習済み VQGAN コードブックをデヘイズ網に高品質 priors として注入する。
• 合成-実データ間のドメインギャップを埋める制御可能な HQPs マッチング機構を開発する。
• HQP 由来の特徴を実データ領域の特徴と融合する正規化特徴整合モジュールを導入する。

提案手法

• 高品質データ上で VQGAN を事前学習して離散 HQP コードブックと対応デコーダを取得する。
• HQPs にマッチさせるエンコーダと HQP 対応特徴を利用するデコーダを備えた RIDCP を学習する。
• Normalized Feature Alignment (NFA) を用いて VQGAN 由来の特徴と実デヘイズ特徴を変形畳み込みと適応スケーリングで整合・バランスを取る。
• Controllable HQPs Matching (CHM) を実装してマッチング時の HQP セル距離をパラメータ α で再重み付けする。
• CHM の重みを F(f̃k, α)=exp(a·f̃k) と定義して HQP 活性化の影響を制御する。ここで f̃k は hazy と clean 活性化の周波数ギャップ。
• 2 段階の学習を採用： (1) HQP データ上で VQGAN を訓練、(2) 現象論的パイプラインで生成された合成 hazy データ上で RIDCP を訓練する。

Figure 1 : Visual comparisons on a typical hazy image. The proposed method generates cleaner results than other two state-of-the-art real image dehazing approaches. The enhancement degree of our result can be flexibly adjusted by adopting different parameters in the real-domain adaptation phase. The

実験結果

リサーチクエスチョン

• RQ1 事前学習済み VQGAN からの高品質コードブック priors は実画像 dehazing の性能を改善できるか。
• RQ2 制御可能な HQPs マッチング機構は合成-実データ領域ギャップを低減し、除霧強度を調整可能にするか。
• RQ3 現象論的劣化パイプラインは合成 hazy データのリアリズムとその後の dehazing 性能にどのように影響するか。
• RQ4 正規化特徴整合 (NFA) が HQP ベースの dehazing の品質と安定性に及ぼす影響は。
• RQ5 最適な強化度 α を推定して自然でアーティファクトの少ないデヘイズ結果に近づけられるか。

主な発見

• RIDCP は RTTS で評価された方法の中で最良の BRISQUE および NIMA スコアを達成し、人間の知覚品質が優れていることを示す。
• RIDCP はほぼ最高の FADE と著しく高いユーザー調査の好感度を達成し、現実世界での性能が強いことを示唆する。
• 定性的結果は RIDCP が最先端の実画像 dehazing 法と比較して、より明るく、よりカラフルで、霧が少ない出力を生成することを示す。
• CHM により α を変えることで強化を調整可能で、推奨 α ≈ 21.25 が報告例で自然な結果を生む。
• HQP 由来の特徴と主網の特徴のバランスを取るために、良く設計された Normalized Feature Alignment (NFA) が必須である。
• 現象論的劣化パイプラインは合成データでの学習時に性能を大幅に向上させ、実 hazy 画像への一般化を改善する。

Figure 2 : Overview of our RIDCP. During the training phase, we train the dehazing network on the data synthesized by our data generation pipeline, as illustrated in (a). The network is based on the pre-trained HQPs codebook and the corresponding decoder $\mathbf{G}_{vq}$ of VQGAN. We also design th