[論文レビュー] Robust Optical Flow Estimation in Rainy Scenes

Ruoteng Li, Robby T. Tan+1 more|arXiv (Cornell University)|Apr 18, 2017

Image Enhancement Techniques参考文献 18被引用数 13

ひとこと要約

本稿では、雨垂れと雨の蓄積効果を、残留チャネルと画像レイヤー分解を用いて取り扱う、雨の降るシーン向けの新しい光流法を提案する。明るさ一定性制約をピecewise滑らかな背景レイヤーにのみ適用し、雨粒放射のRGBチャネル対称性を活用することで、合成および実際の雨のデータセットにおいて、事前除雨処理を施した場合・しない場合の両方で最先端のベースラインを上回る優れた精度を達成する。

ABSTRACT

Optical flow estimation in the rainy scenes is challenging due to background degradation introduced by rain streaks and rain accumulation effects in the scene. Rain accumulation effect refers to poor visibility of remote objects due to the intense rainfall. Most existing optical flow methods are erroneous when applied to rain sequences because the conventional brightness constancy constraint (BCC) and gradient constancy constraint (GCC) generally break down in this situation. Based on the observation that the RGB color channels receive raindrop radiance equally, we introduce a residue channel as a new data constraint to reduce the effect of rain streaks. To handle rain accumulation, our method decomposes the image into a piecewise-smooth background layer and a high-frequency detail layer. It also enforces the BCC on the background layer only. Results on both synthetic dataset and real images show that our algorithm outperforms existing methods on different types of rain sequences. To our knowledge, this is the first optical flow method specifically dealing with rain.

研究の動機と目的

• 動的な雨垂れと視認性の低下により従来の制約が失敗する、雨の降る屋外シーンにおける頑健な光流推定手法の不足に応えること。
• 雨垂れの影響を低減するために、雨粒放射におけるRGBチャネル対称性を活用し、最大と最小のRGBチャネルの差分として計算される残留チャネルを導入すること。
• 画像の分解により、滑らかな背景レイヤーと高周波数の詳細レイヤーに分離し、明るさ一定性制約を前者にのみ適用することで、雨の蓄積効果を軽減すること。
• 以前に存在しなかったため、ベンチマークと評価のための新しい実際の雨の光流データセットを構築すること。
• しばしばアーチファクトを引き起こす事前処理による除雨に依存せず、雨の状態でも正確で一貫性のある光流を達成すること。

提案手法

• RGBチャネルの最大値と最小値の差分として計算される残留チャネルを導入し、雨垂れの等しい放射度を活用することで、雨垂れの影響を低減する。
• 各フレームをピースワイズに滑らかな背景レイヤーと高周波数の詳細レイヤーに分離する画像分解を適用し、雨やノイズを構造的コンテンツから分離する。
• 明るさ一定性制約（BCC）を背景レイヤーにのみ適用し、安定した構造的情報を基に光流推定を実施する。
• 流れと分解を同時に推定する変分最適化フレームワークを採用し、運動境界の保持とノイズ低減を目的とした正則化を施す。
• 最適化においてロバスト統計を用いることで、残存雨や画像劣化に起因する外れ値に対処する。
• 新規の実際の雨の光流データセット（FVR）と合成雨シーケンスを用いて学習および評価し、多様な条件下での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 RGBチャネル差分から導出される残留チャネルが、光流推定における雨垂れの影響を効果的に低減できるか。
• RQ2 背景と詳細のレイヤーに画像を分離することで、雨の蓄積や低コントラスト状態下でも光流の精度が向上するか。
• RQ3 除雨の事前処理に依存せず、重い雨の状態でも光流推定が頑健に動作するか。
• RQ4 クリーンデータで学習した最先端の光流モデルと比較して、本手法は雨のシーケンスでのテストにおいてどのように性能を発揮するか。
• RQ5 真の光流が入手できない実世界の雨のシーンにおいて、本手法は有効に機能するか。

主な発見

• 静的な雨の降るシーンにおいて、本手法は平均的な光流の大きさを0.000195ピクセルに抑えることができ、誤った動きを検出する能力を有する一方で、ベースライン手法は雨の動きに起因する誤った光流を生成する。
• FVR実際の雨データセットにおいて、除雨処理を施した手法を含むすべてのベースライン手法を上回り、アーチファクトの導入なしに頑健性を示す。
• 定性的な結果から、本手法は明るさの一定性を保った滑らかで鋭い運動境界を持つ背景の光流場を生成するが、FlowNetS-rainは「色あざやか」な背景ノイズとぼやけたエッジを示す。
• 細かいテクスチャの詳細を無視しても、クリーンデータセットにおいても強力な性能を維持しており、汎用性の高さを示している。
• 実際の雨のシーケンスにおいて、雨に影響を受ける領域での誤った光流を顕著に低減するとともに、移動物体の正確な動き推定を維持している。
• 新規のFVRデータセットにより、雨のシーンにおける光流の信頼できる評価が可能となり、本手法はこのデータセットで新たなSOTAベンチマークを樹立した。