[논문 리뷰] Dense Scene Flow from Stereo Disparity and Optical Flow

René Schuster, Oliver Wasenmüller외 1명|arXiv (Cornell University)|2018. 08. 30.

Advanced Vision and Imaging참고 문헌 15인용 수 4

한 줄 요약

이 논문은 왜곡과 엣지 인식 보간을 통해 스테레오 기준 깊이와 광학 흐름을 결합하여 실시간 밀도 높은 시장 흐름 추정 방법을 제안한다. 엣지 인식 보간을 위한 SceneFlowFields(SFF)를 사용함으로써, KITTI 벤치마크에서 6.6%의 D1 오차를 기록하며 기존 재조합 방법들을 능가하는 최신 기술 수준의 성능을 달성하면서도 36초의 빠른 추론 시간을 유지한다.

ABSTRACT

Scene flow describes 3D motion in a 3D scene. It can either be modeled as a single task, or it can be reconstructed from the auxiliary tasks of stereo depth and optical flow estimation. While the second method can achieve real-time performance by using real-time auxiliary methods, it will typically produce non-dense results. In this representation of a basic combination approach for scene flow estimation, we will tackle the problem of non-density by interpolation.

연구 동기 및 목표

• 기존 스테레오 및 광학 흐름 조합 방법에서 비밀도 시장 흐름 출력이 발생하는 문제를 해결하기 위해.
• 빠르고 정확한 보조 방법(기준 깊이 및 광학 흐름)을 활용하여 실시간 밀도 높은 시장 흐름 추정을 가능하게 하기 위해.
• 왜곡된 기준 깊이 및 광학 흐름에 적용된 고급 보간 기법을 통해 밀도 높은 시장 흐름의 재구성 품질을 향상시키기 위해.
• 고품질의 보조 결과와 정교한 보간 기법을 조합하면 더 나은 시장 흐름 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 방법은 광학 흐름을 사용하여 시간 $t+1$의 기준 깊이 맵을 시간 $t$로 왜곡하여 중간 기준 깊이 $d_t^{t+1}$를 추정함으로써 희박한 시장 흐름 표현을 형성한다.
• 이 방법은 이차 보간을 사용하여 서브픽셀 기준 깊이 값을 왜곡하지만, 이로 인해 망막 또는 이미지 경계에서 값이 누락되는 문제가 발생한다.
• 희박한 조합에서의 밀도 높은 3차원 기하학 및 운동 장을 복원하기 위해 SceneFlowFields(SFF)를 활용한 엣지 인식 보간을 적용한다.
• SFF 알고리즘은 두 단계 보간을 수행한다: 먼저 기하학에 대한 국소 평면 추정, 그 다음 3차원 운동에 대한 국소 애핀 변환 추정.
• 다양한 보간 전략이 평가되었으며, 기하학과 운동을 함께 보간하는 전략과 기준 깊이 및 운동 성분을 별도로 보간하는 전략이 포함된다.
• 이 방법은 정확도와 속도가 뛰어난 SPS-stereo를 기준 깊이, FlowFields++를 광학 흐름에 적용하여 통합한다.

실험 결과

연구 질문

• RQ1 스테레오 기준 깊이와 광학 흐름의 조합이 경쟁력 있는 정확도와 실시간 성능로 밀도 높은 시장 흐름을 생성할 수 있는가?
• RQ2 희박한 추정에서 밀도 높은 시장 흐름을 복원할 때 엣지 인식 보간 기법은 기존 보간 방법보다 어떻게 비교되는가?
• RQ3 기하학과 운동 성분을 함께 보간하는 것이 기준 깊이 및 운동을 별도로 보간하는 것보다 더 나은 결과를 낳는가?
• RQ4 보조 작업(기준 깊이 및 광학 흐름)의 향상 수준이 재조합 프레임워크에서 최종 시장 흐름 품질에 얼마나 기여하는가?
• RQ5 제안된 방법은 정확도와 추론 속도 측면에서 종단 간 시장 흐름 네트워크와 비교해 어떻게 성능가능한가?

주요 결과

• 제안된 방법은 KITTI 시장 흐름 벤치마크에서 D1 오차 6.6%를 기록하여 기존 SGM+SF 조합보다 D1 기준 2.1%포인트 향상된 성능을 달성했다.
• 기하학과 운동 성분을 함께 보간하는 전략(기하학 및 운동 동시 보간)이 개별 하위 작업의 정확도는 약간 낮지만 전체 시장 흐름 추정에서 가장 우수한 성능을 보였다.
• 36초의 실행 시간을 기록하여 대부분의 종단 간 방법보다 빠르며, 속도-정확도 트레이드오프 측면에서 몇몇 최신 기술 수준의 접근 방식을 능가했다.
• 이전 방법들인 SGM과 FF+에 비해 정교한 보조 네트워크(SPS-stereo 및 FlowFields++)를 사용함으로써 기준 성능이 향상되었다.
• 국소 평면 모델(기준 깊이-평면)과 애핀 운동 모델(기준 깊이-애핀)을 사용한 왜곡된 기준 깊이 보간이 뛰어난 성능을 보였으며, 기준 깊이-평면은 21.2%의 SF 오차, 기준 깊이-애핀은 20.4%의 오차 기록.
• 고품질의 보조 결과와 정교한 보간 기법을 조합하면 전용 종단 간 시장 흐름 네트워크의 정확도와 효율성에 뒤지지 않는 성능을 달성할 수 있음을 입증했다.