[論文レビュー] Single Image Reflection Removal through Cascaded Refinement

Chao Li, Yixiao Yang+3 more|arXiv (Cornell University)|Nov 15, 2019

Image Enhancement Techniques参考文献 35被引用数 7

ひとこと要約

本論文では、伝達層と反射層の段階的精錬を用いて単一画像からの反射除去を実現する反復的ブースト畳み込みLSTMネットワーク（IBCLN）を提案する。LSTMを用いて消失勾配を軽減し、リーマン再構成損失を導入することで訓練を強化する。本手法は、実世界のベンチマークで最先端の性能を達成し、定量的指標および視覚的品質の両面で先行手法を上回る。

ABSTRACT

We address the problem of removing undesirable reflections from a single image captured through a glass surface, which is an ill-posed, challenging but practically important problem for photo enhancement. Inspired by iterative structure reduction for hidden community detection in social networks, we propose an Iterative Boost Convolutional LSTM Network (IBCLN) that enables cascaded prediction for reflection removal. IBCLN is a cascaded network that iteratively refines the estimates of transmission and reflection layers in a manner that they can boost the prediction quality to each other, and information across steps of the cascade is transferred using an LSTM. The intuition is that the transmission is the strong, dominant structure while the reflection is the weak, hidden structure. They are complementary to each other in a single image and thus a better estimate and reduction on one side from the original image leads to a more accurate estimate on the other side. To facilitate training over multiple cascade steps, we employ LSTM to address the vanishing gradient problem, and propose residual reconstruction loss as further training guidance. Besides, we create a dataset of real-world images with reflection and ground-truth transmission layers to mitigate the problem of insufficient data. Comprehensive experiments demonstrate that the proposed method can effectively remove reflections in real and synthetic images compared with state-of-the-art reflection removal methods.

研究の動機と目的

• 実世界の状況において、画像品質を損なう反射を伴う単一画像からの反射除去という、困難で不適切に定式化された問題に取り組む。
• 手作業で設計された事前知識や複数枚の画像に依存する従来手法の制限を克服し、データ駆動型で単一画像に特化した解決策を提案する。
• 伝達層と反射層の補完的性質を活かし、反復的かつ段階的な精錬によって性能を向上させる。
• 深層段階的ネットワークにおける訓練の難しさを軽減するため、LSTMを用いて長距離依存性を保持し、消失勾配を防ぐ。
• 将来の研究を支援するため、密にラベル付けされた真値伝達層を備えた新しい大規模実世界データセットを提供する。

提案手法

• 複数の時間ステップにわたり、伝達層と反射層の予測を段階的に精錬するように、段階的ニューラルネットワークアーキテクチャを設計する。
• 共通の畳み込みLSTMモジュールを採用し、段階間で情報を保持・伝達することで、勾配の流れを確保し、安定した訓練を実現する。
• 画像合成プロセスと閉ループを形成するリーマン再構成損失を導入し、各精錬ステップでの監視を強化する。
• 多スケールの知覚損失と敵対的損失、リーマン再構成損失を組み合わせることで、構造的および知覚的忠実度を向上させる。
• 真値伝達層と反射層から反射影響を受けた画像を生成する線形画像合成モデルを用い、エンドツーエンドの訓練を可能にする。
• ピxls単位の損失、知覚損失、敵対的損失、リーマン再構成損失の組み合わせを用いてネットワークを訓練し、正確な層分解をガイドする。

実験結果

リサーチクエスチョン

• RQ1 伝達層と反射層の反復的かつ段階的な精錬は、単一段階ネットワークを上回る単一画像からの反射除去を実現できるか？
• RQ2 反射除去のための深層段階的ネットワークにおいて、LSTMを用いることで訓練の安定性がどの程度向上するか？
• RQ3 リーマン再構成損失を組み込むことで、反射層および伝達層推定の正確性がどの程度向上するか？
• RQ4 本手法は、実世界的で多様かつ挑戦的なテストセットにおいて、最先端のアプローチと比較してどの程度優れているか？
• RQ5 密にラベル付けされた真値を備えた新たに収集された実世界データセットは、反射除去モデルの一般化性能とベンチマーク評価をどの程度向上できるか？

主な発見

• 提案された実世界データセットにおいて、IBCLNは最高のPSNR（24.20）とSSIM（0.884）を達成し、すべてのベースラインを上回った。
• $SIR^{2}$データセットにおいて、IBCLNはPSNR 23.57、SSIM 0.783を達成し、比較されたすべての手法の中で第1位となった。
• アブレーションスタディの結果、リーマン損失、敵対的損失、多スケール知覚損失のいずれかを除去すると、性能が顕著に低下した。
• モデルは約3時間ステップで収束し、それ以上のステップ数を増やしても性能は向上せず、むしろ劣化する可能性がある。
• 視覚的比較では、IBCLNが過剰に平滑化したり、不十分に除去したりする他の手法と比較して、反射を効果的に除去していることが示された。
• 密にラベル付けされた真値を備えた本手法の実世界データセットは、今後の研究にとって貴重なベンチマークを提供しており、分野における同種データの不足を解消する。