[論文レビュー] General Participative Media Single Image Restoration.

Felipe Codevilla, Joel De O. Gaya+2 more|arXiv (Cornell University)|Mar 6, 2016

Image Enhancement Techniques参考文献 20被引用数 5

ひとこと要約

本稿では、画像の劣化媒体に内在する色の変動をモデル化し、局所的コントラストと色の事前知識を統合した複合統計的事前知識を用いて、曇り、砂嵐、濁った水などの参加的メディアのための一般化された単一画像修復手法を提案する。本手法は、参照画像が存在する・ないにかかわらず、水中および霞がかった画像において多様な条件下でも頑健な修復を達成している。

ABSTRACT

This paper describes a method to restore degraded images captured in general participative media --- fog, turbid water, sand storm, etc. To obtain generality, we, first, propose a novel interpretation of the participative media image formation by considering the color variation of the media. Second, we introduce that joining different image priors is an effective alternative for image restoration. The proposed method contains a Composite Prior supported by statistics collected on both haze-free and degraded participative environment images. The key of the method is joining two complementary measures --- local contrast and color. The results presented for a variety of underwater and haze images demonstrate the power of the method. Moreover, we showed the potential of our method using a special dataset for which a reference haze-free image is available for comparison.

研究の動機と目的

• 濃いがかり、砂嵐、濁った水などの一般化された参加的メディアによって劣化した画像の修復の課題に対処すること。
• 異なる劣化媒体に内在する色の変動をモデル化することで、従来の手法の限界を克服すること。
• 参照画像やシーン固有の仮定に依存しない汎用的な修復フレームワークを構築すること。
• 局所的コントラストと色の補完的画像事前知識を統合し、統一された統計的フレームワークとして改善された修復を実現すること。
• 水中および霞がかったシーンを含む多様な現実世界の劣化画像において、有効性を実証すること。

提案手法

• 参加的環境下での非劣化および劣化画像の統計的分析に基づき、従来の均一な劣化モデルを超える色の変動を考慮した新規な画像形成モデルを提案する。
• 非劣化および劣化画像の両方の統計的分析から導出された複合事前知識（Composite Prior）を導入する。
• 局所的コントラストと色の事前知識を補完的測度として統合し、修復の忠実度を向上させる。
• 単一の入力から非劣化画像の特徴を回復するために、複合事前知識を活用した共同最適化フレームワークを用いる。
• 実世界の制約を反映させるために、参照画像あり・なしの両方のカスタムデータセットを用いて手法を訓練および検証する。

実験結果

リサーチクエスチョン

• RQ1 濃いがかり、砂嵐、濁った水などの多様な参加的メディアに一般化された画像修復はどのように達成できるか？
• RQ2 劣化媒体における色の変動をどの程度モデル化することで、修復の正確性が向上するか？
• RQ3 局所的コントラストと色の事前知識を複合統計的事前知識を通じて統合することで、単一事前知識手法を上回る性能が得られるか？
• RQ4 特に困難な環境下において、参照画像が存在しない状況での手法の有効性はいかがなものか？
• RQ5 シーン固有のチューニングを要せず、異なる撮影条件に一般化できるか？

主な発見

• 提案手法は、参照画像が存在しない状況においても、多様な水中および霞がかった画像において優れた修復品質を達成している。
• 複合事前知識を介して局所的コントラストと色の事前知識を統合することで、構造的および色の忠実度が顕著に向上している。
• 本手法は、曇り、砂嵐、濁った水を含む、さまざまな種類の参加的メディアに対して頑健であることが示された。
• 参照画像付きの特別なデータセットにおける定量的評価結果から、ベースライン手法に比べて一貫した性能向上が確認された。
• 統計的複合事前知識は、非劣化および劣化画像の両方の特徴を効果的に捉えており、一般化を可能にしている。