[논문 리뷰] SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow

Itai Lang, Dror Aiger외 3명|arXiv (Cornell University)|2022. 11. 25.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SCOOP는 상응 학습과 유연한 유량 개선을 분리하는 자기지도 3D 시 scene flow 추정 방법을 제안한다: 경량 네트워크가 소프트 상응을 위한 점 특징을 학습하여 유량을 초기화하고, 이후 런타임 최적화를 통해 잔여 유량 업데이트를 개선한다. 지도 학습이 없는 최소한의 데이터로 훈련된 SCOOP는 KITTI에서 최신 기술 수준의 정확도를 달성하면서도 최적화 전용 기준보다 8배 빠르며, 훨씬 적은 훈련 데이터로도 지도 학습 방법을 능가한다.

ABSTRACT

Scene flow estimation is a long-standing problem in computer vision, where the goal is to find the 3D motion of a scene from its consecutive observations. Recently, there have been efforts to compute the scene flow from 3D point clouds. A common approach is to train a regression model that consumes source and target point clouds and outputs the per-point translation vector. An alternative is to learn point matches between the point clouds concurrently with regressing a refinement of the initial correspondence flow. In both cases, the learning task is very challenging since the flow regression is done in the free 3D space, and a typical solution is to resort to a large annotated synthetic dataset. We introduce SCOOP, a new method for scene flow estimation that can be learned on a small amount of data without employing ground-truth flow supervision. In contrast to previous work, we train a pure correspondence model focused on learning point feature representation and initialize the flow as the difference between a source point and its softly corresponding target point. Then, in the run-time phase, we directly optimize a flow refinement component with a self-supervised objective, which leads to a coherent and accurate flow field between the point clouds. Experiments on widespread datasets demonstrate the performance gains achieved by our method compared to existing leading techniques while using a fraction of the training data. Our code is publicly available at https://github.com/itailang/SCOOP.

연구 동기 및 목표

• 제한된 또는 지도되지 않은 유량 애너테이션을 가진 3D 포인트 클라우드에서 scene flow 추정의 과제를 해결하기 위해.
• 대규모 시뮬레이션 데이터셋에 대한 의존도를 줄이기 위해 소규모 실세계 데이터셋에서 효과적으로 훈련할 수 있도록 하기 위해.
• 상응 학습과 유량 개선을 분리함으로써 유량 정확도와 효율성을 향상시키기 위해.
• 유량 회귀의 종단간 학습 없이도 높은 정확도의 scene flow 추정을 달성하기 위해.
• 경량 상응 학습과 효율적인 런타임 최적화를 조합함으로써 추론 속도와 정확도의 균형을 맞추기 위해.

제안 방법

• 자기지도 신경망이 소스와 타겟 포인트 클라우드 간의 소프트 상응을 위한 점 특징을 학습하기 위해 신뢰도 인식 거리 손실을 사용한다.
• 유량 초기화는 각 소스 점과 그에 대응하는 타겟 점 간의 차이로 계산되며, 여기서 상응은 학습된 특징 유사도를 기반으로 한 타겟 점들의 가중합으로 정의된다.
• 추론 시점에선 자기지도 목적 함수를 사용해 잔여 유량 업데이트를 직접 최적화하며, 이는 유량 일관성과 타겟 포인트 클라우드에의 근접성을 강제한다.
• 최적화 목적 함수에는 이웃하는 점들이 유사한 유량 벡터를 가져야 하도록 정규화하는 스무스니스 사전 조건이 포함되어 있어 필드 일관성을 향상시킨다.
• 유량 회귀의 종단간 학습을 피하기 위해 특징 학습(학습 가능한)과 유량 개선(시험 시점에 최적화)을 분리한다.
• 상응 네트워크에서 도출된 신뢰도 점수를 사용해 훈련 중 거리 손실을 가중함으로써 신뢰할 수 있는 매칭에 초점을 맞춘다.

Figure 1 : Flow accuracy on the KITTI benchmark vs . the train set size. Our method is trained on one or two orders of magnitude less data while surpassing the performance of the competing techniques [ 20 , 25 , 29 , 37 , 17 , 18 , 36 , 4 ] by a large margin. Please see Table 1 for the complete deta

실험 결과

연구 질문

• RQ1 지도되지 않은 유량 감시 없이 소규모 실세계 데이터만으로도 정확한 scene flow 추정이 가능할 수 있는가?
• RQ2 상응 학습과 유량 개선을 분리함으로써 성능 향상과 데이터 의존도 감소가 이루어지는가?
• RQ3 잔여 유량 업데이트의 런타임 최적화가 종단간 학습 기반 방법보다 정확도와 효율성 면에서 뛰어나게 되는가?
• RQ4 신뢰도 인식 상응 학습이 유량 초기화의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 유량 개선 단계에서 최적화 단계 수를 변화시킬 경우 추론 시간과 정확도 사이의 상충 관계는 어떻게 되는가?

주요 결과

• SCOOP는 KITTI 테스트 세트에서 EPE 0.039를 달성하여 최신 기술 수준의 지도 및 자기지도 방법을 능가하지만, 훈련 데이터의 일부분만으로도 학습되었다.
• FT3D 훈련 세트의 10%만으로도 SCOOP는 전체 성능 잠재력을 발휘하여 뛰어난 데이터 효율성을 보였다.
• SCOOP +는 피드포워드 네트워크 전용 모델 대비 EPE를 50% 이상 감소시켰으며, 최적화 전용 Neural Prior 방법보다 추론 속도가 8배 빠르다.
• 절단 분석 결과, 유량 개선 모듈을 제거하면 EPE가 0.115로 증가하여 이 모듈이 유량 일관성과 정확도 향상에 핵심적인 역할을 한다는 것을 확인했다.
• 스무스니스 손실을 제외할 경우 EPE가 0.056로 증가하여 이 정규화가 강건한 점 표현을 학습하는 데 필수적임을 시사한다.
• 모든 점이 아닌 가장 이동한 타겟 점들만 후보로 사용할 경우 성능 향상이 이루어져 집중된 상응이 더 나은 초기화를 이끌 수 있음을 보여주었다.

Figure 2 : Comparison of scene flow approaches. Given a pair of point clouds, FlowNet3D [ 20 ] learns to regress the flow in the free 3D space, and the trained model is frozen for testing. FLOT [ 29 ] concurrently trains two network components: one that computes point correspondence and another that