[논문 리뷰] Robust Optical Flow Estimation of Double-Layer Images under Transparency or Reflection

Jiaolong Yang, Hongdong Li외 2명|arXiv (Cornell University)|2016. 05. 06.

Advanced Vision and Imaging참고 문헌 33인용 수 4

한 줄 요약

이 논문은 투명성 또는 반사로 인해 영향을 받는 더블레이어 이미지에서 전통적인 밝기 일관성 가정이 실패하는 상황에서 강건한 광학 흐름 추정을 위한 새로운 최적화 프레임워크를 제안한다. 일반화된 더블레이어 밝기 일관성 제약 조건을 도입하고, 단순한 사전 지식을 활용해 광학 흐름과 레이어 분리를 동시에 추정함으로써, 합성 및 실세계 데이터 모두에서 최신 기술 수준의 성능을 달성하며, 왜곡 오차를 크게 감소시키고 흐름의 매끄럽고 일관된 성질을 향상시킨다.

ABSTRACT

This paper deals with a challenging, frequently encountered, yet not properly investigated problem in two-frame optical flow estimation. That is, the input frames are compounds of two imaging layers -- one desired background layer of the scene, and one distracting, possibly moving layer due to transparency or reflection. In this situation, the conventional brightness constancy constraint -- the cornerstone of most existing optical flow methods -- will no longer be valid. In this paper, we propose a robust solution to this problem. The proposed method performs both optical flow estimation, and image layer separation. It exploits a generalized double-layer brightness consistency constraint connecting these two tasks, and utilizes the priors for both of them. Experiments on both synthetic data and real images have confirmed the efficacy of the proposed method. To the best of our knowledge, this is the first attempt towards handling generic optical flow fields of two-frame images containing transparency or reflection.

연구 동기 및 목표

• 투명성 또는 반사층이 존재하는 시나리오에서 기존의 밝기 일관성 가정이 실패하는 광학 흐름 추정 문제를 해결하기 위해.
• 배경과 전경 레이어를 동시에 추정하는 통합 프레임워크를 개발하여 더블레이어 시나리오에서 광학 흐름과 레이어 분리를 동시에 처리하기 위해.
• 단일 최적화 프레임워크 내에서 정적 및 동적 움직임을 보이는 전경 레이어를 모두 처리하기 위해.
• 반사 또는 투명성으로 인한 실세계 촬영 조건에서의 흐름 정확도와 레이어 분리 품질을 향상시키기 위해.

제안 방법

• 두 연속 프레임 간의 광학 흐름 필드와 이미지 레이어 밝기 간의 관계를 연결하는 일반화된 더블레이어 밝기 일관성 제약 조건을 도입한다.
• 레이어 조합 연산자 (⊕) 를 사용하여 관측된 이미지를 배경 시나리오 레이어와 전경 간섭 레이어의 초합성으로 모델링한다.
• 배경 및 전경 레이어의 밝기, 각각의 광학 흐름 필드를 동시에 추정하고 일반화된 밝기 일관성 제약 조건을 강제하는 최적화 문제를 수립한다.
• 해결책을 정규화하기 위해 광학 흐름(예: 매끄러움)과 레이어 분리(예: 희박성, 낮은 질량)에 대한 단순한 사전 지식을 활용한다.
• 레이어 추정, 흐름 필드, 밝기 일관성 제약 조건를 반복적으로 개선하기 위해 교대 최적화 전략을 사용한다.
• 기본 방법(예: [21])을 사용해 레이어 분리를 초기화하고, 통합 최적화 과정을 통해 이를 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 투명성 또는 반사가 있는 더블레이어 시나리오에서 광학 흐름과 이미지 레이어 분리를 동시에 추정할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ2 단일 레이어가 아닌 두 개의 움직이는 이미지 레이어 간에도 밝기 일관성 제약 조건를 일반화할 수 있는가?
• RQ3 동적 전경 레이어가 존재하는 상황에서 제안된 방법이 초기 흐름 및 레이어 추정치를 얼마나 향상시킬 수 있는가?
• RQ4 레이어가 무문자 또는 동일한 운동을 겪을 경우, 이 방법의 한계는 무엇인가?

주요 결과

• 제안된 방법은 이미지 왜곡 오차를 크게 감소시켜 실반사 이미지에서 평균 오차를 6.27에서 2.55로 낮춘다.
• 두 번째 실세계 이미지 쌍에서는 왜곡 오차가 3.86에서 1.49로 감소하여 초기화에 비해 일관된 향상을 보였다.
• 시각적 결과에서는 반사로 영향을 받는 벽이나 바닥과 같은 도전적인 영역에서도 더 매끄럽고 일관된 광학 흐름 필드를 보였다.
• 전경 레이어가 동적으로 움직일 경우에도 레이어를 성공적으로 분리하고 흐름을 추정할 수 있었으며, 기본 초기화 방법보다 뛰어난 성능을 보였다.
• 초기화에 대해 강건하며, 합성 및 실세계 데이터 모두에서 광학 흐름과 레이어 추정치를 일관되게 향상시켰다.
• 두 레이어가 모두 무문자이거나 동일한 운동을 겪을 경우 밝기 제약 조건가 탈락하여 방법이 실패한다.