[논문 리뷰] AdaFit: Rethinking Learning-based Normal Estimation on Point Clouds

Runsong Zhu, Yuan Liu외 5명|arXiv (Cornell University)|2021. 08. 12.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

AdaFit는 가중 최소 제곱 표면 피팅을 개선하기 위해 가중치와 오프셋을 동시에 예측하고, 다중 척도 특징 융합을 위한 계단식 척도 집합(Cascaded Scale Aggregation, CSA) 레이어를 도입함으로써 노이즈가 많고 비균일한 포인트 클라우드에서 강력한 정규 벡터 추정을 위한 새로운 딥러닝 프레임워크를 제안한다. 이는 PCPNet과 같은 합성 데이터셋과 SceneNN과 같은 실세계 데이터셋 모두에서 최신 기술(SOTA) 성능을 달성하며, 복잡하고 노이즈가 많은 영역에서 정확도를 크게 향상시킨다.

ABSTRACT

This paper presents a neural network for robust normal estimation on point clouds, named AdaFit, that can deal with point clouds with noise and density variations. Existing works use a network to learn point-wise weights for weighted least squares surface fitting to estimate the normals, which has difficulty in finding accurate normals in complex regions or containing noisy points. By analyzing the step of weighted least squares surface fitting, we find that it is hard to determine the polynomial order of the fitting surface and the fitting surface is sensitive to outliers. To address these problems, we propose a simple yet effective solution that adds an additional offset prediction to improve the quality of normal estimation. Furthermore, in order to take advantage of points from different neighborhood sizes, a novel Cascaded Scale Aggregation layer is proposed to help the network predict more accurate point-wise offsets and weights. Extensive experiments demonstrate that AdaFit achieves state-of-the-art performance on both the synthetic PCPNet dataset and the real-word SceneNN dataset.

연구 동기 및 목표

• 기존의 학습 기반 정규 벡터 추정 방법이 단지 가중 최소 제곱 피팅에 의존함으로써 다항식 차수의 일관성 부족과 이상치에 대한 민감성 문제를 겪는 점을 해결하기 위해.
• 가중 최소 제곱의 이상치에 대한 내재된 민감성을 줄이기 위해 이웃 포인트의 위치를 재조정하는 추가적인 오프셋 예측 메커니즘을 도입하기 위해.
• 수동으로 이웃 영역 크기(스케일)를 선택하는 데서의 의존도를 줄이기 위해, 여러 척도에서 특징을 융합하는 계단식 척도 집합(CSA) 레이어를 설계하기 위해.
• 노이즈, 밀도 변화, 누락된 구조가 있는 실세계 포인트 클라우드에서 일반화 능력과 강건성을 향상시키기 위해.
• 표면 복원 및 포인트 클라우드 노이즈 제거와 같은 후속 작업에서 AdaFit의 효과성을 입증하기 위해.

제안 방법

• 이웃 포인트의 위치를 피팅 이전에 조정하는 가용한 오프셋 예측 헤드를 제안하여, 다항식 차수의 불일치가 있을 경우에도 진짜 표면에 더 잘 맞출 수 있도록 한다.
• 다양한 이웃 영역 척도에서 특징을 추출하고 융합하여 강건성과 정확도를 향상시키는 새로운 계단식 척도 집합(CSA) 레이어를 도입한다.
• 이중 브랜치 네트워크 아키텍처를 사용한다: 한 브랜치는 가중 최소 제곱 피팅을 위한 포인트별 가중치를 예측하고, 다른 브랜치는 이웃 포인트의 위치를 재조정하기 위한 포인트별 오프셋을 예측한다.
• 최종 표면 피팅을 수정된 가중 최소 제곱 문제로 공식화하며, 정규 벡터를 계산하기 전에 예측된 오프셋에 따라 포인트를 먼저 이동시킨다.
• 예측된 정규 벡터와 진짜값 간의 표준 L2 손실을 사용해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 조정된 포인트 위치와 학습된 가중치를 사용하여 다항식 표면을 피팅하고 정규 벡터를 계산하는 가분한 표면 피팅 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 기존의 학습 기반 정규 벡터 추정 방법은 학습된 가중치를 사용하고도 복잡하거나 노이즈가 많은 영역에서 실패하는 이유는 무엇인가?
• RQ2 기존 방법에서 사용하는 고정된 다항식 차수와 진짜 표면의 다항식 차수 간의 불일치가 정규 벡터 추정 정확도에 미치는 영향은 무엇인가?
• RQ3 왜 가중 최소 제곱 피팅은 이상치에 민감한가? 그리고 이 민감성을 이웃 포인트의 가용한 변환을 통해 완화할 수 있는가?
• RQ4 다중 척도 특징 융합은 수동적인 이웃 영역 크기 설정의 필요성을 줄이고 강건성을 향상시킬 수 있는가?
• RQ5 오프셋 예측의 추가로 실세계 데이터셋에서 내재된 노이즈와 밀도 변화에 대한 일반화 능력이 향상되는가?

주요 결과

• AdaFit는 PCPNet 데이터셋에서 최신 기술(SOTA) 성능을 달성하였으며, 오프셋 예측을 사용할 경우 고노이즈 조건에서 평균 정규 벡터 RMSE를 11.22로 감소시켰다.
• 오프셋 예측이 있는 모델은 평면과 3-젯 사이의 다항식 차수에 관계없이 일관된 성능을 유지하는 반면, 기준 모델은 차수 선택에 매우 민감한 것으로 나타났다.
• 계단식 척도 집합(CSA) 레이어 덕분에 수동 스케일 튜닝의 필요성이 줄었으며, CSA를 사용한 모델은 모든 노이즈 수준에서 성능 향상이 있었고 이웃 영역 크기에 덜 민감했다.
• 이상치 제거를 위해 작은 가중치를 임계값으로 자르는 것과 비교해, AdaFit의 오프셋 예측 방법은 평균적으로 RMSE가 1.5~2.5배 향상되었다.
• 표면 복원 작업에서 AdaFit는 평균 표면 거리 RMSE가 0.00529로 가장 정확하고 완전한 표면을 생성했으며, DeepFit(0.00994)와 Lenssen et al.(0.01401)를 모두 능가했다.
• AdaFit는 날카로운 에지 유지와 평평한 영역의 스무딩을 동시에 가능하게 하여 고품질의 포인트 클라우드 노이즈 제거를 가능하게 했으며, 정성적 비교를 통해 이를 입증했다.