[논문 리뷰] IterativePFN: True Iterative Point Cloud Filtering

Dasith de Silva Edirimuni, Xuequan Lu외 4명|arXiv (Cornell University)|2023. 04. 04.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

IterativePFN은 단일 네트워크 내에서 스택된 IterationModule를 사용해 진정한 반복 필터링을 모델링하는 새로운 딥러닝 프레임워크를 제안한다. 각 IterationModule는 하나의 필터링 반복을 시뮬레이션하며, 훈련 중에 청소된 표면으로의 수렴을 가속화하기 위해 적응형 지도 손실을 사용한다. 이는 합성 및 실세계 데이터셋에서 양적 지표와 시각적 품질 측면에서 최신 기법들을 능가한다.

ABSTRACT

The quality of point clouds is often limited by noise introduced during their capture process. Consequently, a fundamental 3D vision task is the removal of noise, known as point cloud filtering or denoising. State-of-the-art learning based methods focus on training neural networks to infer filtered displacements and directly shift noisy points onto the underlying clean surfaces. In high noise conditions, they iterate the filtering process. However, this iterative filtering is only done at test time and is less effective at ensuring points converge quickly onto the clean surfaces. We propose IterativePFN (iterative point cloud filtering network), which consists of multiple IterationModules that model the true iterative filtering process internally, within a single network. We train our IterativePFN network using a novel loss function that utilizes an adaptive ground truth target at each iteration to capture the relationship between intermediate filtering results during training. This ensures that the filtered results converge faster to the clean surfaces. Our method is able to obtain better performance compared to state-of-the-art methods. The source code can be found at: https://github.com/ddsediri/IterativePFN.

연구 동기 및 목표

• 학습 중에 반복 프로세스를 모델링하지 않고 추론 시에만 반복 필터링을 수행하는 기존의 학습 기반 포인트 클라우드 노이즈 제거 방법의 한계를 해결한다.
• 실제 반복 필터링 프로세스를 네트워크 아키텍처에 직접 통합함으로써 고노이즈 조건에서 느린 수렴과 열악한 성능을 해결한다.
• 각 반복 단계에서 변화하는 새로운 적응형 지도 타겟 손실을 도입하여 일반화 능력과 수렴 속도를 향상시킨다.
• 특히 가까이 붙어 있는 표면이 존재하는 복잡한 기하학적 구조에서 흔히 발생하는 아티팩트와 표면 붕괴 문제를 줄인다.
• 합성 벤치마크와 실세계 스캔, 특히 RueMadame 및 Kinect v1/v2와 같은 도전적인 데이터셋에서 높은 효율성과 정확도를 달성한다.

제안 방법

• 각 모듈이 필터링 프로세스의 한 단계를 모델링하는 스택된 IterationModule로 구성된 새로운 신경망 아키텍처인 IterativePFN을 제안한다.
• 현재 필터링된 점이 청소된 표면으로부터의 최근접 이웃 거리로부터 유도된 적응형 지도 타겟을 사용하는 새로운 훈련 손실 함수를 설계한다.
• 각 IterationModule 내에 존재하는 학습 가능한 잔차 이동 예측 헤드를 사용하여 점의 이동을 청소된 표면 쪽으로 예측한다.
• 모든 반복 단계에서 청소된 표면으로의 수렴을 장려하기 위해 다단계 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 고정된 패치 크기(예: 100점)와 가장자리 기반 연결성을 사용한 k-최근접 이웃(k-NN) 기반 국소 특징 추출 메커니즘을 도입하여 국소적 맥락을 확보한다.
• 포인트 클라우드 노이즈 제거를 위한 효과적인 국소 및 전역 표현 학습을 가능하게 하는 U-Net 유사 인코더-디코더 백본을 활용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 내에서 진정한 반복 필터링 프로세스를 모델링할 경우, 추론 시간에만 반복 작업을 수행하는 기존 방법 대비 수렴 속도와 최종 노이즈 제거 품질이 향상되는가?
• RQ2 고정된 타겟 대신 훈련 중에 적응형 지도 타겟을 사용할 경우, 더 나은 일반화 능력과 더 빠른 청소된 표면 수렴이 달성되는가?
• RQ3 표면이 가까이 붙어 있는 복잡한 형상에서, 이전의 양방향 필터링 기반 방법에서 흔히 발생하는 표면 붕괴 문제를 해결하는 데에 IterativePFN은 얼마나 효과적인가?
• RQ4 지도 데이터가 없는 실세계 노이즈 스캔에서, 정량적 및 정성적 지표를 바탕으로 제안된 방법이 뛰어난 성능을 내는가?
• RQ5 IterationModule의 수가 최종 노이즈 제거 성능과 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• Kinect v1 및 v2 데이터셋에서 IterativePFN은 최고의 카멘저 디스턴스(CD) 점수와 두 번째로 높은 포인트 투 메시(P2M) 점수를 기록하여 Pointfilter 및 ScoreDenoise를 포함한 모든 베이스라인을 능가한다.
• RueMadame 실세계 스캔 데이터셋에서 IterativePFN은 시각적으로 열등한 결과를 보이며, 사인판과 차량 후드와 같은 미세한 구조를 정확히 유지한다. 반면 PDFlow 및 ScoreDenoise는 큰 이상치를 남긴다.
• 제거 실험에서 적응형 지도 손실은 특히 고노이즈 조건에서 고정된 지도 타겟 대비 수렴 속도와 최종 성능을 크게 향상시킨다.
• 4개의 IterationModule(4 ItMs)를 사용한 방법은 Fig. 1에서 보듯이 24회의 추론 시간 반복을 수행하는 ScoreDenoise보다 청소된 표면으로 더 빨리 수렴한다. 이는 더 많은 점이 청소된 표면에 가까이 위치해 있음을 시사한다.
• Pointfilter는 가중 양방향 손실로 인해 인접한 표면이 붕괴되는 반면, IterativePFN은 Casting 형태와 같은 복잡한 형상에서 표면 붕괴를 피한다.
• OPPP(1점당 패치 1개) 전략에 의존하는 Pointfilter와 달리, 이 네트워크는 높은 계산 비용으로부터 자유롭고 더 빠른 추론을 유지한다.