[논문 리뷰] FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation

Yair Kittenplon, Yonina C. Eldar외 1명|arXiv (Cornell University)|2020. 11. 19.

Advanced Vision and Imaging참고 문헌 45인용 수 9

한 줄 요약

FlowStep3D는 강력한 정규화와 경량 전역 상관관계 메커니즘을 사용하여 반복적으로 유 flow 예측을 개선하는 순환적이고 모델 언롤링 아키텍처를 제안한다. 유일하게 합성된 FlyingThings3D 데이터로 훈련된 이 모델은 KITTI의 자기지도 학습 벤치마크에서 최신 기술을 초월하는 성능을 기록하며, 실제 LiDAR 스캔으로의 일반화 능력이 50% 이상 뛰어나다.

ABSTRACT

Estimating the 3D motion of points in a scene, known as scene flow, is a core problem in computer vision. Traditional learning-based methods designed to learn end-to-end 3D flow often suffer from poor generalization. Here we present a recurrent architecture that learns a single step of an unrolled iterative alignment procedure for refining scene flow predictions. Inspired by classical algorithms, we demonstrate iterative convergence toward the solution using strong regularization. The proposed method can handle sizeable temporal deformations and suggests a slimmer architecture than competitive all-to-all correlation approaches. Trained on FlyingThings3D synthetic data only, our network successfully generalizes to real scans, outperforming all existing methods by a large margin on the KITTI self-supervised benchmark.

연구 동기 및 목표

• 학습 기반 3D 시나리오 흐름 추정에서의 낮은 일반화 능력, 특히 큰 변형과 희소한 LiDAR 데이터에서의 과제를 해결하기 위해.
• 실제 데이터 레이블에 의존하지 않고도 자기지도 학습 3D 운동 추정의 강건성과 정확도를 향상시키기 위해.
• 모든 대상 상관관계 방법에 비해 높은 성능을 유지하면서도 메모리 소비를 줄이기 위해.
• 피팅 트레이닝 없이도 합성 데이터(FlyingThings3D)에서 실제 LiDAR 스캔(KITTI)으로의 효과적인 일반화를 가능하게 하기 위해.

제안 방법

• 이 방법은 K개 반복 단계의 반복적 개선 과정을 언롤링한 순환 아키텍처를 사용하며, 한 단계씩 학습한다.
• 초기 유 flow는 저해상도에서 전역 상관관계 유닛을 통해 계산되고, 이후 GRU 기반 업데이트 유닛을 통해 반복적으로 개선된다.
• 각 반복 단계에서 원본 포인트 클라우드를 재인코딩하여 강력한 정규화를 통해 구조적 일致성을 강제한다.
• 과도한 정규화(반탄성 운동)나 정규화 부족(구조 왜곡)을 방지하기 위해 학습 가능한 손실 가중치(αk, βk)를 적용한다.
• 모든 대상 상관관계는 저해상도의 전역 특징 공간에 적용되어 고해상도 대안 대비 메모리 소비를 감소시킨다.
• 기하학적 일致성과 유 flow 정규화를 사용해 종단 간 자기지도 학습 방식으로 훈련되며, 실재 데이터로의 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 종단 간 학습과 비교해 순환적이고 모델 언롤링 아키텍처가 자기지도 학습 3D 시나리오 흐름 추정에서 일반화 능력을 향상시킬 수 있는가?
• RQ2 강력한 정규화를 통한 반복적 개선이 큰 변형과 희소한 LiDAR 데이터에서 성능을 향상시키는 방식은 무엇인가?
• RQ3 피팅 트레이닝 없이도 유일하게 합성 데이터(FlyingThings3D)로 훈련된 네트워크가 실세계 KITTI 스캔으로 얼마나 잘 일반화되는가?
• RQ4 반복적 유 flow 개선에서 정규화 강도와 운동 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 메모리 소비가 높은 상관관계 방법에 비해 경량 전역 상관관계 메커니즘이 높은 정확도를 유지하면서도 우월한 성능을 낼 수 있는가?

주요 결과

• 자기지도 학습 FlowStep3D는 KITTI 벤치마크에서 EPE3D 0.1443을 기록하며, 모든 기존 자기지도 학습 방법보다 일반화 능력에서 50% 이상 뛰어나다.
• 모든 자기지도 학습 방법 중에서 FlyingThings3D에서 EPE3D 0.1443 이하의 최저 기록을 달성하며, 이는 최신 기술 수준을 초월한다.
• 완전지도 학습 버전은 최신 기술인 FLOT 수준의 성능를 기록하며, 더 적은 메모리 소비와 낮은 이상치 비율을 보였다.
• 반복적 개선은 성능 향상에 기여한다: 4회 이상의 반복을 사용할 경우 성능이 더욱 향상되며, 특히 KITTI에서 두드러진다.
• 과도한 정규화는 이상치를 0.8941로 증가시키고, 정규화 부족은 EPE3D를 0.3183으로 증가시키며, 최적의 정규화 가중치의 중요성을 확인한다.
• 완전 연결층 대신 GRU를 사용하면 일반화 능력이 40% 향상되며, 유 flow 임bedding만 GRU 입력으로 사용할 경우 오차가 30% 증가한다.