[論文レビュー] Restoring Images in Adverse Weather Conditions via Histogram Transformer
本稿では、雨、雪、霧などの悪天候条件下における統合的画像修復を目的とした、Histoformerと呼ばれる新しいTransformerベースのアーキテクチャを提案する。ヒストグラム自己注意機構を導入し、画素の強度ごとに動的バインにグループ化し、それらのバイン内または間で自己注意を適用することで、従来の空間的またはチャネル別自己注意と比較して、より効果的に長距離の空間的依存関係を捉える。この手法は、ベンチマークデータセットにおいて、先行手法よりも0.96 dBのPSNR向上を達成し、最先端の性能を実現した。
Transformer-based image restoration methods in adverse weather have achieved significant progress. Most of them use self-attention along the channel dimension or within spatially fixed-range blocks to reduce computational load. However, such a compromise results in limitations in capturing long-range spatial features. Inspired by the observation that the weather-induced degradation factors mainly cause similar occlusion and brightness, in this work, we propose an efficient Histogram Transformer (Histoformer) for restoring images affected by adverse weather. It is powered by a mechanism dubbed histogram self-attention, which sorts and segments spatial features into intensity-based bins. Self-attention is then applied across bins or within each bin to selectively focus on spatial features of dynamic range and process similar degraded pixels of the long range together. To boost histogram self-attention, we present a dynamic-range convolution enabling conventional convolution to conduct operation over similar pixels rather than neighbor pixels. We also observe that the common pixel-wise losses neglect linear association and correlation between output and ground-truth. Thus, we propose to leverage the Pearson correlation coefficient as a loss function to enforce the recovered pixels following the identical order as ground-truth. Extensive experiments demonstrate the efficacy and superiority of our proposed method. We have released the codes in Github.
研究の動機と目的
- 従来のTransformerベースの手法が、固定範囲またはチャネルのみの自己注意に起因して、長距離の空間的特徴を捉える能力に限界を示す問題に対処すること。
- 雨、雪、霧といった複数の悪天候条件の修復を、1つの効率的なモデルで統合すること。
- 強度に基づいて画素を動的にグループ化し、強度ベースのバインに対して注意を適用することで、特徴表現を向上させること。
- ダイナミックレンジ畳み込みとデュアルスケールゲーテッドフィードフォワードモジュールを用いて、特徴学習を強化すること。
- 予測画像と正解画像間の線形関係を保つために、ピアソン積率相関係数に基づく損失を組み込むことで、再構成の忠実度を向上させること。
提案手法
- ヒストグラム自己注意は、画素値を降順に並べ替えることで空間的特徴を強度ベースのバインに分割し、それらのバイン内または間で自己注意を適用することで、長距離の天候関連特徴をモデル化する。
- 二つのリシェーピング戦略であるバイン別ヒストグラムリシェーピング（BHR）と周波数別ヒストグラムリシェーピング（FHR）を用いることで、グローバル統合と細粒度特徴抽出のバランスを取ることができる。
- ダイナミックレンジ畳み込みは、分離可能畳み込みの前に水平および垂直方向の画素並べ替えを実行し、空間的に散らばっているが強度が類似した天候劣化画素に注目できるようにする。
- デュアルスケールゲーテッドフィードフォワード（DGFF）モジュールは、ピクセルシャッフルとアダプティブゲーティングを用いて複数の範囲とスケールの特徴を集約し、マルチレンジ特徴モデリングを強化する。
- 予測画像と正解画像間の線形順序の一貫性を強制するために、ピアソン積率相関係数に基づく新しい相関損失関数を導入し、視認品質を向上させる。
- Histoformerアーキテクチャは、これらのモジュールを統合したユニフィードTransformerバックボーンとして構築され、一括学習により、一括除雨、除霧、除雪を同時に行う。
実験結果
リサーチクエスチョン
- RQ1固定範囲またはチャネル別自己注意と比較して、強度ベースのヒストグラム自己注意は、悪天候下の画像修復において、長距離空間的特徴モデリングをどのように向上させるか？
- RQ2画素を強度ごとに動的バインにグループ化することで、空間的に散らばっているがスペクトル的に類似した天候劣化パターンのモデリングは、どのように向上するか？
- RQ3標準的なピクセル単位損失と比較して、相関に基づく損失関数を組み込むことで、再構成画像の構造的および線形一貫性はどの程度向上するか？
- RQ4標準畳み込みと比較して、ダイナミックレンジ畳み込みは、非局所的で強度が類似した天候アーティファクトの学習をどのように改善するか？
- RQ5ヒストグラム自己注意機構において、性能と計算コストのバランスを取るために、バイン数と特徴次元の最適な設定は何か？
主な発見
- 提案されたHistoformerは、SIRENベンチマークにおいて、最先端のTKSA手法よりも0.96 dBのPSNR向上を達成し、優れた修復性能を示した。
- ダイナミックレンジ畳み込みは、バニラ畳み込みと比較して0.05 dBのPSNR向上を達成し、特に水平方向に並べ替えた後に垂直方向に並べ替えることで最良の性能を発揮した。
- ヒストグラム自己注意モジュールにBHRおよびFHRの両ブランチを用いることで、最高のPSNR（32.08）とSSIM（0.9389）が達成され、単一ブランチ構成を上回った。
- 相関損失の重みを1に設定した場合が最良の性能を示し、相関損失なしのベースラインと比較してPSNRが0.31 dB向上した。
- DGFFモジュールは、MSFNと比較して0.3 dB、バニラFFNと比較して0.76 dBのPSNR向上を達成し、マルチスケールおよびマルチレンジ特徴学習における有効性を確認した。
- 実世界の応用において、Histoformerは雪景色を効果的に修復し、元々見えにくかったドアや建物などのオブジェクトを、下流の物体検出システムが特定可能にした。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。