[論文レビュー] Image Dehazing using Bilinear Composition Loss Function

Hui Yang, Jinshan Pan+4 more|arXiv (Cornell University)|Oct 1, 2017

Image Enhancement Techniques参考文献 14被引用数 13

ひとこと要約

本稿では、深層畳み込みニューラルネットワークを用いた単一画像の除霧に、二重線形な構成損失関数を提案する。この手法は、透過率マップ、大気光、綺麗な画像の推定を同時に最適化することで、ノイズやアーチファクトを低減する。本手法は、特にノイズが多く、圧縮された霞みのある画像において、最先端の手法を上回る性能を発揮する。これは、各コンponent間の相互依存関係をモデル化し、構成誤差を同時に逆伝播可能にするためである。

ABSTRACT

In this paper, we introduce a bilinear composition loss function to address the problem of image dehazing. Previous methods in image dehazing use a two-stage approach which first estimate the transmission map followed by clear image estimation. The drawback of a two-stage method is that it tends to boost local image artifacts such as noise, aliasing and blocking. This is especially the case for heavy haze images captured with a low quality device. Our method is based on convolutional neural networks. Unique in our method is the bilinear composition loss function which directly model the correlations between transmission map, clear image, and atmospheric light. This allows errors to be back-propagated to each sub-network concurrently, while maintaining the composition constraint to avoid overfitting of each sub-network. We evaluate the effectiveness of our proposed method using both synthetic and real world examples. Extensive experiments show that our method outperfoms state-of-the-art methods especially for haze images with severe noise level and compressions.

研究の動機と目的

• 低品質で重度に霞みが強い画像において、ノイズやアーチファクトを増幅する二段階型除霧手法の限界を解消すること。
• 除霧の定式化に画像ノイズと圧縮効果を組み込むことで、物理的画像形成プロセスをより正確にモデル化すること。
• 深刻なノイズと圧縮アーチファクトを伴う実世界の霞みのある画像における除霧性能を向上させること。
• 透過率マップ、大気光、除霧画像推定を同時に最適化する統合的ディープラーニングフレームワークの開発

提案手法

• ノイズを考慮するため、大気光を空間的に変化させるように変更した画像形成モデルを導入：I(x) = J(x)T(x) + A'(x)(1 - T(x))、ここでA'(x)はノイズ効果を吸収する。
• トレーニング中に物理的構成制約J(x)T(x) + A'(x)(1 - T(x)) = I(x)を強制する二重線形構成損失関数を提案する。
• 透過率マップT(x)と大気光A'(x)を同時に推定できる二重線形ネットワークを用い、両サブネットワークへの誤差逆伝播を可能にする。
• 透過率マップ出力に対してガイドフィルタリングを適用し、局所的に滑らかさを強制し、フィルタを通じた誤差も逆伝播させる。
• 二重線形ネットワークの後に別個の画像強化ネットワークを適用し、残存ノイズをさらに低減し、視覚的品質を向上させる。
• 過剰適合を避けるために、NYU2データセットの実際の深度マップを用いて、より現実的な合成霞みデータを生成する。

実験結果

リサーチクエスチョン

• RQ1 二重線形構成損失を用いた共同最適化フレームワークは、二段階手法と比較して、ノイズが多く、圧縮された霞みのある画像における除霧性能を向上させることができるか？
• RQ2 一定値（A）ではなく空間的に変化する（A'(x)）大気光をモデル化することで、画像ノイズに対する除霧のロバストネスはどのように向上するか？
• RQ3 誤差逆伝播を伴うガイドフィルタリングは、透過率マップの品質をどの程度向上させ、ハロアーチファクトを低減するか？
• RQ4 大気光Aを3チャンネルのベクトルとして学習することで、画像固有のアーチファクトを捉える能力が向上し、過剰な除霧を防げるか？
• RQ5 合成データ生成に実際のNYU2の深度マップを用いることで、一般化性能と除霧結果の視覚的品質はどの程度向上するか？

主な発見

• 提案手法は、合成データおよび実世界の霞みのある画像の両方において、最先端の手法を上回る性能を発揮する。特に高ノイズおよび高圧縮の状況で顕著である。
• 二重線形構成損失により、透過率ネットワークおよび大気光ネットワークへの誤差の効果的な逆伝播が可能となり、過剰適合の低減と一般化性能の向上が達成された。
• ガイドフィルタリングはハロアーチファクトを顕著に低減し、フィルタを通じた誤差逆伝播を組み合わせることで、よりクリアな透過率マップが得られた。
• 本手法は、ノイズを大気光成分に効果的に分離し、一度のフレームワーク内で暗黙的（implicit）に除霧とノイズ除去を実現した。
• NYU2の実際の深度マップを用いたデータ合成により、特に空域において、不自然な深度仮定を持つ合成データセットと比較して、より自然な除霧画像が得られた。
• 強化ネットワークは残存ノイズを効果的に低減し、新たなアーチファクトを導入することなく、最終的な画像品質を向上させた。