[논문 리뷰] Robust Optical Flow Estimation in Rainy Scenes

Ruoteng Li, Robby T. Tan외 1명|arXiv (Cornell University)|2017. 04. 18.

Image Enhancement Techniques참고 문헌 18인용 수 13

한 줄 요약

이 논문은 빗줄기와 빗방울 축적 효과를 고려하여 잔차 채널과 이미지 레이어 분해를 사용하는 새로운 광학 흐름 방법을 제안한다. 밝기 일관성 조건을 조각난 평탄한 배경 층에만 적용하고, 빗방울 복사율에서 RGB 채널 대칭성을 활용함으로써, 합성 및 실제 빗방울이 내리는 데이터셋에서 기존 최고 성능(SOTA) 기준보다 뛰어난 정확도를 달성한다. 또한 전처리로 빗물 제거를 하지 않아도 되며, 이는 종종 잡음 요소를 유발하기도 한다.

ABSTRACT

Optical flow estimation in the rainy scenes is challenging due to background degradation introduced by rain streaks and rain accumulation effects in the scene. Rain accumulation effect refers to poor visibility of remote objects due to the intense rainfall. Most existing optical flow methods are erroneous when applied to rain sequences because the conventional brightness constancy constraint (BCC) and gradient constancy constraint (GCC) generally break down in this situation. Based on the observation that the RGB color channels receive raindrop radiance equally, we introduce a residue channel as a new data constraint to reduce the effect of rain streaks. To handle rain accumulation, our method decomposes the image into a piecewise-smooth background layer and a high-frequency detail layer. It also enforces the BCC on the background layer only. Results on both synthetic dataset and real images show that our algorithm outperforms existing methods on different types of rain sequences. To our knowledge, this is the first optical flow method specifically dealing with rain.

연구 동기 및 목표

• 동적인 빗줄기와 시야 저하로 인해 기존 제약 조건이 실패하는 빗방울이 내리는 실외 환경에 대해 강건한 광학 흐름 추정 방법의 부족을 해결하기 위해.
• 빗방울 복사율에서 RGB 채널 대칭성을 활용하여 빗줄기의 영향을 줄이기 위해 잔차 채널을 도입함으로써 빗줄기 영향을 감소시키기 위해.
• 이미지 분해를 통해 조각난 평탄한 배경 층과 고주파 수준의 세부 정보 층으로 나누어, 빗방울과 잡음을 구조적 콘텐츠에서 분리함으로써 빗방울 축적 효과를 완화하기 위해.
• 이전에 존재하지 않았던 실제 빗방울이 내리는 광학 흐름 데이터셋을 새롭게 개발하여 기준 평가 및 검증을 가능하게 하기 위해.
• 일반적으로 잡음 요소를 유발할 수 있는 전처리 빗물 제거에 의존하지 않고도 빗방울 환경에서도 정확하고 일관된 광학 흐름을 확보하기 위해.

제안 방법

• 최대 및 최소 RGB 채널 간의 차이로 계산된 잔차 채널을 도입하여, 빗방울이 각 채널에서 동일한 복사율을 가지므로 빗줄기의 영향을 감소시킨다.
• 이미지 분해를 적용하여 각 프레임을 조각난 평탄한 배경 층과 고주파 세부 정보 층으로 분리함으로써, 빗방울과 잡음을 구조적 콘텐츠에서 분리한다.
• 밝기 일관성 조건(Brightness Constancy Constraint, BCC)을 배경 층에만 적용하여, 안정적이고 구조적인 정보에 기반한 흐름 추정을 보장한다.
• 흐름과 분해를 동시에 추정하는 변분 최적화 프레임워크를 사용하며, 운동 경계를 유지하고 잡음을 감소시키기 위한 정규화를 적용한다.
• 잔류 빗방울과 이미지 열화로 인한 이상치를 처리하기 위해 최적화 과정에서 강력 통계 기법을 활용한다.
• 새로운 실제 빗방울 광학 흐름 데이터셋(FVR)과 합성 빗방울 시퀀스를 사용하여 학습 및 평가함으로써 다양한 조건 하에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 RGB 채널 간 차이에서 유도된 잔차 채널이 광학 흐름 추정에 빗줄기의 영향을 효과적으로 줄일 수 있는가?
• RQ2 배경 층과 세부 정보 층으로 이미지를 분리함으로써 빗방울 축적 및 저대비 조건에서의 흐름 정확도가 향상되는가?
• RQ3 전처리로 빗물 제거를 하지 않아도 빗방울이 많이 내리는 상황에서도 광학 흐름 추정이 강건하게 유지될 수 있는가? 특히 전처리로 인한 잡음 요소가 자주 발생하는 점을 고려할 때.
• RQ4 청정 데이터로 학습된 상태에서 빗방울 시퀀스로 테스트했을 때, 제안된 방법은 최신 기술(SOTA) 모델보다 어떻게 비교되는가?
• RQ5 지표 흐름이 제공되지 않는 실제 도메인의 빗방울 환경에서 제안된 방법이 효과적인가?

주요 결과

• 정적 빗방울 환경에서 제안된 방법은 평균 흐름 크기를 0.000195 픽셀로 측정하여 정지 상태를 효과적으로 탐지하지만, 기준 방법들은 빗방울의 운동으로 인해 잘못된 흐름을 생성한다.
• FVR 실제 빗방울 데이터셋에서, 전처리로 빗물 제거를 사용하는 기준 방법들조차도 제안된 방법에 비해 열등하며, 잡음 요소 없이 강건성을 입증한다.
• 정성적 결과에서는 제안된 방법이 날카운 운동 경계를 유지하는 깔끔한 배경 흐름장을 생성하는 반면, FlowNetS-rain은 '색다른' 배경 노이즈와 흐릿한 가장자리를 보여준다.
• 세밀한 질감 정보를 기각함에도 불구하고 청정 데이터셋에서 강력한 성능 유지를 보이며, 일반화 능력이 있음을 시사한다.
• 실제 빗방울 시퀀스에서 단일 물체 운동이 있는 경우, 빗방울 영향 영역에서 잘못된 흐름을 크게 줄이고 움직이는 물체의 정확한 운동 추정을 유지함을 입증한다.
• 새로운 FVR 데이터셋은 빗방울 환경 광학 흐름의 신뢰할 수 있는 평가를 가능하게 하며, 제안된 방법은 이 데이터셋에서 새로운 SOTA 기준을 수립한다.