[論文レビュー] Fast Single Image Reflection Suppression via Convex Optimization

Yang Yang, Wenye Ma+3 more|arXiv (Cornell University)|Mar 10, 2019

Image Enhancement Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、勾配しきい値処理と2次元ポアソン方程式に類似した方程式の離散コサイン変換（DCT）に基づく解法を用いた、凸最適化に基づく高速な単一画像反射抑制手法を提案する。1080×1440のスマートフォン画像を1.2秒未塔で処理するリアルタイム性能を達成するとともに、競争力のあるデレフレクション品質を維持し、従来の非凸的で計算コストの高い手法よりも速度と詳細の保持の両面で優れている。

ABSTRACT

Removing undesired reflections from images taken through the glass is of great importance in computer vision. It serves as a means to enhance the image quality for aesthetic purposes as well as to preprocess images in machine learning and pattern recognition applications. We propose a convex model to suppress the reflection from a single input image. Our model implies a partial differential equation with gradient thresholding, which is solved efficiently using Discrete Cosine Transform. Extensive experiments on synthetic and real-world images demonstrate that our approach achieves desirable reflection suppression results and dramatically reduces the execution time.

研究の動機と目的

• ガラスを通して撮影された単一画像における反射を効率的に抑制する課題に取り組むこと、特にポータブルデバイスでのリアルタイム利用を想定すること。
• 反復的な非凸ソルバーに依存する従来の手法が抱える多くの反復回数と高い計算コストの問題を克服すること。
• 強い・鋭い反射を効果的に抑制しつつ、透過層の詳細を保持すること。これは、従来の手法がしばしば暗くまたはぼやけた出力を生じさせる要因である。
• 大規模で現実世界の画像に対しても高速で安定的かつスケーラブルな反射抑制を実現できる凸最適化フレームワークを開発すること。

提案手法

• ラプラシアンに基づくデータ適合項と勾配スパarsityの事前分布を用いて、反射抑制を凸最適化問題として定式化する。
• 勾配しきい値処理を用いた偏微分方程式を用いて、反射抑制プロセスをモデル化する。
• 離散コサイン変換（DCT）を用いることで、変分問題を効率的に解き、高速な計算を実現する。
• hで制御されるパラメータ化されたしきい値処理スキームを採用し、反射抑制と詳細保持のバランスを取る。
• DCTに基づく高速ソルバーを用いて、修正された2次元ポアソン方程式を解き、デレフレクション画像を再構築する。
• MATLABで実装したユーザーが操作可能なスライダインターフェースを導入し、リアルタイムで抑制強度を調整可能にする。

実験結果

リサーチクエスチョン

• RQ1 反復的な非凸ソルバーに依存せずに、高速かつ効果的な単一画像反射抑制を凸最適化フレームワークで達成できるか？
• RQ2 本手法は、最先端の非凸的およびマルチイメージ手法と比較して、速度と品質の両面でどのように差をつけるか？
• RQ3 強い・鋭い反射を抑制しつつ、透過層の詳細をどれほど効果的に保持できるか？
• RQ4 本手法は、1080×1440などの大規模で現実世界のスマートフォン画像に対して、リアルタイム処理が可能にスケーラブルか？

主な発見

• 本手法は1080×1440の画像を1.15秒で処理し、実行時間において従来手法を著しく上回っている。例として、同じ画像サイズでArvanitopoulosら[2]は185.82秒を要した。
• 512×512の合成画像において、本手法はPSNR 20.99およびSSIM 0.903を達成し、両方の指標で[12]、[19]、[2]を上回った。
• 特に繊細なテクスチャーやエッジ領域において、[12]および[2]と比較して透過層の詳細をより多く保持していることが、ズームイン比較で示された。
• 反射強度（wで制御）が変化しても、本手法は高い品質の結果を維持しており、さまざまな入力条件においてもロバストであることが示された。
• 反射のエッジが実際のシーンエッジと同程度に鋭く強い場合（例：蛍光灯）、エッジの区別に失敗するケースが発生し、極端な条件下でのエッジ識別能力の限界が明らかになった。