[論文レビュー] Single Image Reflection Removal Exploiting Misaligned Training Data and Network Enhancements

Kaixuan Wei, Jiaolong Yang+3 more|arXiv (Cornell University)|Apr 1, 2019

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、コンテキストに配慮したネットワーク強化とアライメント不変損失を統合することで、歪みのある実世界の訓練データを活用する、単一画像の反射除去のための新規ディーブラーニングアプローチを提案する。チャネル別およびマルチスケールの空間的コンテキストモジュールを埋め込み、最小限の制約で収集可能なアライメントのとれていない画像ペアで訓練することで、実世界のベンチマークで最先端の性能を達成し、反射の抑制と背景再構築の精度を顕著に向上させる。

ABSTRACT

Removing undesirable reflections from a single image captured through a glass window is of practical importance to visual computing systems. Although state-of-the-art methods can obtain decent results in certain situations, performance declines significantly when tackling more general real-world cases. These failures stem from the intrinsic difficulty of single image reflection removal -- the fundamental ill-posedness of the problem, and the insufficiency of densely-labeled training data needed for resolving this ambiguity within learning-based neural network pipelines. In this paper, we address these issues by exploiting targeted network enhancements and the novel use of misaligned data. For the former, we augment a baseline network architecture by embedding context encoding modules that are capable of leveraging high-level contextual clues to reduce indeterminacy within areas containing strong reflections. For the latter, we introduce an alignment-invariant loss function that facilitates exploiting misaligned real-world training data that is much easier to collect. Experimental results collectively show that our method outperforms the state-of-the-art with aligned data, and that significant improvements are possible when using additional misaligned data.

研究の動機と目的

• 反射と透過層の分解が曖昧であるため、単一画像の反射除去（SIRR）に根本的な不適切性が存在することに対処する。
• カメラやシーンの安定性に厳しい制約がなく収集可能なアライメントのとれていない画像ペアを用いることで、高密度ラベル付きの実世界の訓練データの不足を克服する。
• グローバルな空間的およびチャネル別コンテキストを捉えるコンテキストエンコーディングモジュールを用いて、ディーブラーニングニューラルネットワークを強化することで、反射除去の性能を向上させる。
• ピクセルレベルの対応が不要なアライメント不変損失関数を開発し、正確な空間的対応がなくても実世界のアライメントのとれていないデータで効果的な学習を可能にする。
• アーキテクチャの強化とアライメントのとれていないデータの活用が、実世界のSIRRベンチマークで相乗的に優れた性能をもたらすことを実証する。

提案手法

• グローバルな活性化統計に基づいて特徴マップの重みを再調整するチャネル別アテンション機構を導入し、反射の抑制に向けた識別能力を向上させる。
• 特徴ピラミッドの各レベルにおけるマルチスケールの空間的コンテキスト集約を採用することで、空間表現におけるグローバルなコンテキストの一貫性を実現する。
• ピクセルレベルの対応が不要な最小二乗誤差を最小化することで、アライメントのとれていない画像ペアでの学習を可能にするアライメント不変損失関数を設計する。
• コンテキストエンコーディングモジュールを強化した、変更を加えたU-Netに類似たエンコーダ・デコーダアーキテクチャを用い、反射除去のための特徴表現を向上させる。
• DSLRおよびスマートフォンカメラを用いて収集した、アライメントのとれた実データと多数のアライメントのとれていない実世界の画像ペアの組み合わせを用いてネットワークを訓練する。
• 人間の好み評価を用いて、アライメントのとれたデータとアライメントのとれていないデータの両方を用いた、実世界のデータセットにおけるファインチューニングを実施し、性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 反射の分解が根本的に不適切であるI = T + Rの状況において、コンテキストに配慮したネットワーク設計が、反射除去のあいまいさを低減できるか？
• RQ2 カメラやシーンの安定性に厳しい制約がなく収集可能な、歪みのある実世界の画像ペアが、SIRRにおけるディーブラーニングネットワークの学習に効果的に活用できるか？
• RQ3 アライメント不変損失関数は、アライメントのとれていないデータで効果的な学習を可能にするとともに、アライメントのとれたデータの性能を維持できるか？
• RQ4 アーキテクチャの強化とアライメントのとれていないデータの活用が、実世界のベンチマークでSIRR性能をどの程度向上させるか？
• RQ5 提案手法は、複雑な野生のシーンを含む多様な実世界のテストセットにおいて、既存の最先端モデルを上回ることができるか？

主な発見

• 提案されたERRNetは、'Real20'および'Objects'データセットで最先端の性能を達成し、PSNR、SSIM、NCCの指標において、以前のSOTA手法を上回った。
• 'Postcard'データセットでは、最良の性能を示したBDN-Fモデルと同等の結果を達成し、シーンタイプにわたる強い汎化性能を示した。
• 'Wild'データセットでは、どの手法も入力画像を上回らなかったため、複雑で制約のない環境ではさらなる改善の余地が大きいことが示された。
• 人間の好み評価では、アライメントのとれていないデータでファインチューニングしたERRNetが54%の支持を得た一方、BDN-Fは36%にとどまり、提案手法に対するユーザーの好みが強いことが示された。
• アライメント不変損失により、アライメントのとれていないデータでのファインチューニングで顕著な視覚的・定量的改善が得られ、視覚的観察者による評価でも一貫して優れた結果が支持された。
• 視覚的結果から、ERRNetは木の枝などの強い反射を、ベースライン手法よりも正確に除去できていることが明らかになった。