[논문 리뷰] Dense Nonrigid Ground Truth for Optical Flow in Real-World Scenes.

Wenbin Li, Darren Cosker외 2명|arXiv (Cornell University)|2016. 03. 26.

Advanced Vision and Imaging참고 문헌 9인용 수 2

한 줄 요약

이 논문은 동시에 촬영된 근적외선(NIR) 마커 시퀀스에서 유도된 정답을 바탕으로 한 밀도 높은 실세계 비강체 광학 흐름 데이터셋을 소개한다. 이는 RGB 기반 추적 및 정렬의 정량적 평가를 가능하게 한다. 또한 RGB와 NIR의 보완적 정보를 융합하여 정확도를 향상시키는 RGB-NIR 다스펙트럴 광학 흐름 모델을 제안하며, 새로운 벤치마크에서 기존의 RGB 전용 및 다스펙트럴 방법들을 능가한다.

ABSTRACT

In this paper we present a dense ground truth dataset of nonrigidly deforming real-world scenes. Our dataset contains both long and short video sequences, and enables the quantitatively evaluation for RGB based tracking and registration methods. To construct ground truth for the RGB sequences, we simultaneously capture Near-Infrared (NIR) image sequences where dense markers - visible only in NIR - represent ground truth positions. This allows for comparison with automatically tracked RGB positions and the formation of error metrics. Most previous datasets containing nonrigidly deforming sequences are based on synthetic data. Our capture protocol enables us to acquire real-world deforming objects with realistic photometric effects - such as blur and illumination change - as well as occlusion and complex deformations. A public evaluation website is constructed to allow for ranking of RGB image based optical flow and other dense tracking algorithms, with various statistical measures. Furthermore, we present an RGB-NIR multispectral optical flow model allowing for energy optimization by adoptively combining featured information from both the RGB and the complementary NIR channels. In our experiments we evaluate eight existing RGB based optical flow methods on our new dataset. We also evaluate our hybrid optical flow algorithm by comparing to two existing multispectral approaches, as well as varying our input channels across RGB, NIR and RGB-NIR.

연구 동기 및 목표

• 광학 흐름 평가를 위한 실세계 비강체 변형 영상에서의 밀도 놈 정답의 부족 문제를 해결하기 위해.
• 광학적 효과와 가림 현상이 있는 실제 변형에 대해 RGB 기반 추적 및 정렬 방법의 정량적 벤치마크 평가를 가능하게 하기 위해.
• RGB와 NIR 데이터를 융합하여 정확도를 향상시키는 다스펙트럴 광학 흐름 모델을 개발하기 위해.
• 통계적 지표를 사용하여 광학 흐름 알고리즘 순위를 매길 수 있는 공개 평가 플랫폼을 제공하기 위해.

제안 방법

• RGB 및 근적외선(NIR) 영상 시퀀스를 동시에 촬영하여, 밀도 높은 NIR 마커가 비강체 변형에 대한 정답을 제공하도록 한다.
• NIR 마커 위치를 사용하여 해당 RGB 시퀀스에 대한 밀도 높은 광학 흐름 정답을 계산한다.
• 다양한 통계적 지표를 사용하여 광학 흐름 알고리즘 순위를 매기는 공개 평가 웹사이트를 구축한다.
• RGB와 NIR의 특징를 적응적으로 융합하여 에너지 함수를 최적화하는 RGB-NIR 다스펙트럴 광학 흐름 모델을 설계한다.
• 에너지 최소화 기법을 적용하여 RGB와 NIR의 정보를 융합함으로써 블러, 조도 변화, 가림 현상에 대한 강건성을 향상시킨다.
• 여덟 가지 기존의 RGB 광학 흐름 방법을 평가하고, 제안된 하이브리드 모델을 두 가지 다스펙트럴 기준선 및 다양한 입력 채널(RGB, NIR, RGB-NIR)과 비교한다.

실험 결과

연구 질문

• RQ1 제안된 RGB-NIR 다스펙트럴 광학 흐름 모델은 실세계 비강체 변형에서 최신의 RGB 전용 방법보다 어떻게 성능을 발휘하는가?
• RQ2 RGB와 NIR 데이터를 융합함으로써 광학적 및 기하학적 조건이 어려운 상황에서 광학 흐름 정확도는 어느 정도 향상되는가?
• RQ3 기존의 RGB 광학 흐름 방법들은 복잡한 변형과 실세계 효과를 포함한 새로운 실질적인 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ4 비강체 영역에서 광학 흐름 추정을 위한 기준선으로 NIR 단독 데이터를 사용할 경우 어떤 영향을 미치는가?
• RQ5 다양한 입력 모odalities(RGB, NIR, RGB-NIR)는 새로운 벤치마크에서 광학 흐름 알고리즘 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 RGB-NIR 다스펙트럴 광학 흐름 모델은 새로운 데이터셋에서 RGB 전용 방법과 두 가지 기존의 다스펙트럴 접근법보다 뛰어난 성능을 달성한다.
• NIR 데이터의 포함이 블러, 조도 변화 및 가림 현상이 있는 영역에서 광학 흐름 정확도를 크게 향상시킨다.
• 기존의 RGB 광학 흐름 방법들은 기존의 합성 벤치마크와 비교해 새로운 데이터셋에서 성능이 저하됨을 보이며, 실세계 평가의 필요성을 강조한다.
• 공개 평가 웹사이트를 통해 다양한 오차 지표를 사용하여 통계적으로 타당한 알고리즘 순위 매기기가 가능해졌다.
• 데이터셋은 실제 광학적 효과와 복잡한 변형을 캡처하여 합성 대안보다 더 도전적이고 대표적인 벤치마크를 제공한다.
• NIR 마커의 사용은 비강체 운동에 대해 밀도 높고 정확한 정답을 제공하며, 이는 추적 및 정렬 시스템의 신뢰성 있는 평가에 필수적이다.