[논문 리뷰] FlowNet3D++: Geometric Losses For Deep Scene Flow Estimation

Zirui Wang, Shuda Li외 3명|arXiv (Cornell University)|2019. 12. 03.

Advanced Vision and Imaging참고 문헌 4인용 수 5

한 줄 요약

FlowNet3D++는 FlowNet3D 프레임워크에 기하학적 손실—점에서 평면 거리 및 코스인 각도 정렬—을 통합함으로써 깊이 있는 시나리오 플로우 추정을 향상시킨다. KITTI 데이터셋에서 정확도를 57.85%에서 63.43%로 향상시켰다. 또한 동적 3D 재구성 벤치마크를 도입하여 FlowNet3D보다 최대 15.0% 낮은 재구성 오차를 입증하였고, KillingFusion보다 35.2% 향상된 성능을 보였다.

ABSTRACT

We present FlowNet3D++, a deep scene flow estimation network. Inspired by classical methods, FlowNet3D++ incorporates geometric constraints in the form of point-to-plane distance and angular alignment between individual vectors in the flow field, into FlowNet3D. We demonstrate that the addition of these geometric loss terms improves the previous state-of-art FlowNet3D accuracy from 57.85% to 63.43%. To further demonstrate the effectiveness of our geometric constraints, we propose a benchmark for flow estimation on the task of dynamic 3D reconstruction, thus providing a more holistic and practical measure of performance than the breakdown of individual metrics previously used to evaluate scene flow. This is made possible through the contribution of a novel pipeline to integrate point-based scene flow predictions into a global dense volume. FlowNet3D++ achieves up to a 15.0% reduction in reconstruction error over FlowNet3D, and up to a 35.2% improvement over KillingFusion alone. We will release our scene flow estimation code later.

연구 동기 및 목표

• 표준 L2 손실을 초월해 포인트 클라우드 기반 시나리오 플로우 추정의 정확도를 향상시키기 위해.
• 전통적인 레지지스트레이션 방법으로부터 유도된 기하학적 사전 지식을 딥러닝에 통합하여 더 나은 플로우 추정을 위해.
• 고립된 지표를 넘어서 동적 3D 재구성 기반의 통합적 시나리오 플로우 평가 벤치마크를 개발하기 위해.
• 희소 시나리오 플로우 예측을 조밀한 전역 볼륨으로 통합하는 파이프라인을 설계하기 위해.
• 공개 데이터셋에서 추론 및 비교 실험을 통해 기하학적 제약 조건의 효과를 검증하기 위해.

제안 방법

• ICP에 영감을 얻어, 예측된 플로우 벡터와 이웃 점들이 정의하는 평면 사이의 수직 거리를 벌리기 위한 점에서 평면(pp) 손실 항목을 도입한다.
• 예측된 플로우 벡터와 진정한 플로우 벡터 간의 각도 일치를 강제하기 위해 코사인 거리(cos) 손실을 적용한다. 이는 방향 정확도를 향상시킨다.
• L2, pp, cos 손실을 함께 사용하여 크기 및 방향 정확도를 동시에 최적화한다.
• 희소 시나리오 플로우 예측을 변형 가능한 볼륨 업데이트 전략을 사용하여 전역 조밀한 부피 재구성에 융합하는 새로운 동적 통합 파이프라인을 제안한다.
• 기하학적 손실 조합의 수렴성과 안정성을 평가하기 위해 200 에포크로 연장된 다단계 학습 스케줄을 사용한다.
• 평가를 위해 KITTI, Snoopy, Duck 데이터셋을 사용하며, 진정한 메쉬를 통해 정량적 재구성 오차 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 점에서 평면 거리 및 각도 일치와 같은 기하학적 제약 조건이 L2 손실을 초월해 3D 시나리오 플로우 추정을 향상시킬 수 있는가?
• RQ2 기하학적 손실은 3D 시나리오 플로우 네트워크의 학습 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ3 동적 3D 재구성은 고립된 지표보다 더 통합적이고 실용적인 시나리오 플로우 평가 벤치마크로 기능할 수 있는가?
• RQ4 시나리오 플로우 예측을 조밀한 볼륨에 통합하면 재구성 품질 향상이 측정 가능한가?
• RQ5 최적의 기하학적 손실 조합은 시나리오 플로우 정확도와 재구성 충실도를 극대화하기 위해 무엇인가?

주요 결과

• L2 손실에 점에서 평면(pp) 및 코사인(cos) 손실을 조합함으로써 KITTI 데이터셋에서 시나리오 플로우 정확도가 57.85%에서 63.43%로 향상되었다.
• 기하학적 손실 조합은 학습 수렴성과 안정성을 향상시키며, 200 에포크까지 성능 향상이 계속되는 등 L2 또는 단일 기하학적 손실만을 사용한 모델과는 대조적으로 우수한 성능을 보였다.
• 동적 3D 재구성에서 FlowNet3D++는 FlowNet3D 대비 평균 재구성 오차를 최대 15.0% 낮추었다.
• Snoopy 및 Duck 데이터셋에서 FlowNet3D++는 KillingFusion 대비 재구성 오차에서 최대 35.2% 향상된 성능을 기록했다.
• 아블레이션 연구를 통해 pp 및 cos 손실의 조합이 가장 뛰어난 성능을 내며, 尤히 200 에포크로 연장된 학습에서 뚜렷한 성과를 보였다.
• 제안된 평균 각도 오차 지표는 방향 편차를 효과적으로 캡처하며, EPE만으로는 평가할 수 없는 플로우 방향 정확도의 한계를 드러내었다.