[논문 리뷰] Occlusions, Motion and Depth Boundaries with a Generic Network for Disparity, Optical Flow or Scene Flow Estimation

Eddy Ilg, Tonmoy Saikia외 2명|arXiv (Cornell University)|2018. 08. 06.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 FlowNet 2.0에서 유도된 단일 네트워크 아키텍처를 사용하여 단일 프로세스에서 비틀림, 광학 흐름, 막힘 및 깊이/운동 경계를 동시에 추정하는 일반적인 딥 러닝 프레임워크를 제안한다. 막힘과 경계에 대해 명시적 지도 학습을 통해 엔드 투 엔드로 훈련함으로써, KITTI 및 Sintel 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 막힘 추정 정확도가 크게 향상되고 추론 속도가 빨라졌고, 더 나은 막힘 인식 특징 학습을 통해 운동 분할 및 장면 흐름 결과도 향상되었다.

ABSTRACT

Occlusions play an important role in disparity and optical flow estimation, since matching costs are not available in occluded areas and occlusions indicate depth or motion boundaries. Moreover, occlusions are relevant for motion segmentation and scene flow estimation. In this paper, we present an efficient learning-based approach to estimate occlusion areas jointly with disparities or optical flow. The estimated occlusions and motion boundaries clearly improve over the state-of-the-art. Moreover, we present networks with state-of-the-art performance on the popular KITTI benchmark and good generic performance. Making use of the estimated occlusions, we also show improved results on motion segmentation and scene flow estimation.

연구 동기 및 목표

• 기존의 후처리 기반 방법이 효과적으로 해결하지 못하는 막힘 추정과 광학 흐름/비틀림 추정 간의 상호의존성을 해결하기 위해.
• 딥 러닝 기반 대응 추정에서 막힘 및 운동 경계 검출 정확도를 향상시키기 위해.
• 특정 작업에 맞게 재학습이 필요 없이 비틀림, 광학 흐름, 장면 흐름 등 여러 작업에서 우수한 성능을 내는 일반적인 네트워크 아키텍처를 개발하기 위해.
• 명시적 막힘 추정이 운동 분할 및 장면 흐름 추정과 같은 후행 작업 성능을 향상시키는지 입증하기 위해.
• 기존 최신 기술 수준의 성능을 유지하면서도 고속 추론을 달성하기 위해.

제안 방법

• 비틀림, 광학 흐름, 막힘, 깊이/운동 경계를 단일 순방향 프로세스에서 출력하는 다단계 정밀화 아키텍처로 FlowNet 2.0을 확장한다.
• 지상 진실 막힘 마스크를 사용하여 메인 흐름 및 비틀림 헤드와 함께 엔드 투 엔드로 훈련되는 전용 손실 헤드를 도입한다.
• 일치 비용을 비틀림 또는 흐름 공간 전역에서 모델링하기 위해 상관층과 3D 컨벌루션을 사용한 비용 볼륨을 활용하고, 이후 잔차 정밀화 블록을 적용한다.
• 뒤집힌 흐름 일致성에 의존하지 않고 네트워크가 직접 막힘 마스크를 예측함으로써 실무에서 알려진 바와 같이 신뢰성이 떨어지는 기존 방법을 회피한다.
• 희소 및 밀도 비틀림 추정을 모두 지원하며, 예측된 막힘을 활용해 장면 흐름 추정을 향상시키는 새로운 보간 모듈을 도입한다.
• 다양한 데이터셋에서 훈련하고 KITTI에서 최적 성능을 내기 위해 미세조정을 수행하며, 동시에 다른 데이터셋에 대해 강력한 제로샷 일반화 성능도 보여준다.

실험 결과

연구 질문

• RQ1 기존 후처리 기반 방법보다 더 높은 정확도로 단일 딥 네트워크가 막힘과 운동/비틀림 필드를 동시에 예측할 수 있는가?
• RQ2 명시적 막힘 추정이 운동 분할 및 장면 흐름 추정과 같은 후행 작업 성능에 어떤 영향을 미치는가?
• RQ3 막힘과 광학 흐름/비틀림의 엔드 투 엔드 공동 훈련이 벤치마크 성능과 추론 속도에 어떤 영향을 미치는가?
• RQ4 일반적인 네트워크 아키텍처가 도메인 특화 미세조정 없이도 여러 작업(비틀림, 광학 흐름, 장면 흐름)에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 기존 최신 기술 수준의 방법과 비교해 본다면, 제안된 방법은 막힘 경계 검출 정확도와 런타임 효율성 측면에서 어떤가?

주요 결과

• 제안된 방법은 KITTI 2015 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 미세조정을 거친 후 테스트 세트에서 평균 종단 오차(AEE)가 1.19로 기존 방법을 초월하였다.
• Sintel 벤치마크에서 네트워크는 클린 시퀀스에서 AEE가 2.08, 파이널 시퀀스에서 3.94를 기록하였으며, FlowNet2와 동등한 성능을 내면서도 훨씬 더 빠른 속도를 보였다.
• KITTI 2015의 비막힘 영역에서 이상치 비율(3px 초과 오차)을 3.45%로 낮춰 신뢰할 수 있는 영역에서 뛰어난 정확도를 입증하였다.
• 예측된 막힘을 입력으로 사용할 경우 운동 분할 성능이 크게 향상되어, 막힘 인식 특징 학습이 객체 경계 검출을 향상시킨다는 것을 시사한다.
• 예측된 막힘을 사용한 장면 흐름 추정은 KITTI 벤치마크에서 F1-all 점수 11.34%를 기록했으며, 프레임당 런타임은 단 0.25초로 기존 방법을 크게 앞서며 뛰어난 성능을 보였다.
• 네트워크는 도메인 간 일반화 성능이 뛰어나, 미세조정되지 않은 버전에서도 Sintel과 KITTI 양쪽 모두에서 강력한 성능을 보여 분포 이탈에 대한 강건성을 입증하였다.