[논문 리뷰] Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk

Ruibo Li, Guosheng Lin외 1명|arXiv (Cornell University)|2021. 05. 18.

Advanced Vision and Imaging참고 문헌 40인용 수 5

한 줄 요약

이 논문은 최적화 운반 이론을 활용한 다중 모odal 대응 매칭과 무작위 보행을 통한 가짜 레이블 정밀화를 통해 3D 포인트 클라우드에서 자기지도 학습 방식으로 3D 시나리오 플로우 추정을 위한 Self-Point-Flow를 제안한다. 3D 좌표, 색상, 표면 법선을 질량 등가 제약 조건이 있는 최적화 운반 프레임워크에 통합하고, 그래프 기반의 무작위 보행을 통해 局소 일관성을 강제함으로써, FlyingThings3D와 KITTI에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 지도 학습 기반의 베이스라인을 일부 경우에서 뛰어넘는다. 지도 학습에 필요한 진짜 레이블 없이도 성능을 내는 데 성공하였다.

ABSTRACT

Due to the scarcity of annotated scene flow data, self-supervised scene flow learning in point clouds has attracted increasing attention. In the self-supervised manner, establishing correspondences between two point clouds to approximate scene flow is an effective approach. Previous methods often obtain correspondences by applying point-wise matching that only takes the distance on 3D point coordinates into account, introducing two critical issues: (1) it overlooks other discriminative measures, such as color and surface normal, which often bring fruitful clues for accurate matching; and (2) it often generates sub-par performance, as the matching is operated in an unconstrained situation, where multiple points can be ended up with the same corresponding point. To address the issues, we formulate this matching task as an optimal transport problem. The output optimal assignment matrix can be utilized to guide the generation of pseudo ground truth. In this optimal transport, we design the transport cost by considering multiple descriptors and encourage one-to-one matching by mass equality constraints. Also, constructing a graph on the points, a random walk module is introduced to encourage the local consistency of the pseudo labels. Comprehensive experiments on FlyingThings3D and KITTI show that our method achieves state-of-the-art performance among self-supervised learning methods. Our self-supervised method even performs on par with some supervised learning approaches, although we do not need any ground truth flow for training.

연구 동기 및 목표

• 실세계 3D 포인트 클라우드에서 레이블이 부족한 시나리오 플로우 데이터 문제를 해결하기 위해 자기지도 학습을 가능하게 한다.
• 기존 자기지도 학습 방법들이 점유 매칭에 단지 3D 좌표에 의존함으로써 정확도가 떨어지고 일관성이 떨어지는 결과를 초래하는 한계를 극복한다.
• 3D 좌표, 색상, 표면 법선 등의 다중 기능을 제약 조건이 있는 최적화 운반 공식화에 통합하여 대응 매칭을 향상시킨다.
• 그래프 기반의 무작위 보행 모듈을 통해 국소 일관성을 강제함으로써 가짜 레이블의 품질을 향상시키고, 예측된 플로우를 부드럽게 하고 정밀하게 한다.
• 학습 중에 진짜 플로우 레이블을 전혀 사용하지 않음에도 불구하고 지도 학습 기반 방법과 경쟁 가능한 성능을 달성한다.

제안 방법

• 3D 좌표, 표면 법선, 색상 특징에서 유도된 비용 행렬을 사용하여 점 대응 매칭을 최적화 운반 문제로 공식화한다.
• 다대일 할당을 방지하기 위해 최적화 운반 공식화에서 질량 등가 제약 조건을 통해 일대일 매칭을 강제한다.
• 일치된 점들 간의 좌표 차이를 계산하여 유효한 대응에서 가짜 진짜 플로우 벡터를 생성한다.
• 각 점을 노드로 하는 포인트 클라우드에 그래프를 구축하고, 3D 거리로 간선 가중치를 정의하여 국소 유사성을 표현한다.
• 무방향 그래프에서의 무작위 보행을 적용하여 가짜 레이블을 전파하고 부드럽게 하며, 운동 예측의 국소 일관성을 확보한다.
• 유도된 하위그래프를 사용하여 반복적인 레이블 전파를 통해 레이블이 없는 점들에 대해 개선된 레이블을 생성함으로써 강인성과 완전성을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 좌표, 색상, 법선 등의 다중 모달 특징을 포함한 최적화 운반은 좌표만을 사용하는 최근접 이웃 검색에 비해 자기지도 학습 점 대응 매칭의 정확도를 향상시키는가?
• RQ2 최적화 운반에 질량 등가 제약 조건을 적용하면 일대일 매칭이 향상되고 시나리오 플로우 추정에서 열악한 해법이 줄어드는가?
• RQ3 그래프 기반의 무작위 보행 정밀화는 자기지도 학습 시나리오 플로우 학습에서 가짜 레이블의 국소 일관성과 총합 품질을 얼마나 향상시키는가?
• RQ4 기존 자기지도 또는 지도 학습 방법과 비교할 때 최적화 운반과 무작위 보행의 통합은 표준 벤치마크에서 어떻게 성능을 내는가?
• RQ5 학습 중에 진짜 플로우 레이블을 전혀 사용하지 않아도 자기지도 학습 방법이 지도 학습 방법과 경쟁 가능한 성능을 내는가?

주요 결과

• 3D 좌표, 색상, 법선 등의 다중 모달 특징과 질량 등가 제약 조건을 포함한 제안된 최적화 운반 모듈은 FlyingThings3D 데이터셋에서 평균 점수(AS)를 24.36까지 향상시켜 기존 베이스라인 방법에 비해 뚜렷한 성능 향상을 보였다.
• 최적화 운반 비용에 색상과 표면 법선 특징을 추가함으로써 AS는 10.19에서 24.36으로 상승했으며, 이는 대응 매칭에서 다중 모달 신호의 중요성을 입증한다.
• 무작위 보행 기반의 가짜 레이블 정밀화 모듈은 AS를 24.36에서 41.74로 향상시켜 국소 일관성 정밀화가 고품질 가짜 레이블을 확보하는 데 핵심적임을 보여준다.
• 제거 분석 결과, 무방향 하위그래프 무작위 보행(UG)이 단순 스무딩 유닛(NS)보다 더 큰 향상(24.36에서 40.88로)을 이끌어내어 구조화된 레이블 전파의 효과성을 입증한다.
• FlyingThings3D에서 AS는 41.74를 기록했으며, KITTI에서도 경쟁력 있는 성능을 보였으며, 다른 자기지도 학습 방법을 능가하고 지도 학습 기반 베이스라인에 가까이 접근하였다. 학습 중에 진짜 플로우 레이블을 전혀 사용하지 않았음에도 불구하고 성과를 달성하였다.
• 2,048개 점을 가진 장면에서 가짜 레이블 생성 및 정밀화에 소요된 총 시간은 단일 2080Ti GPU에서 78.8ms로 실시간 응용에 실용적인 효율성을 보였다.