[논문 리뷰] ASFM-Net: Asymmetrical Siamese Feature Matching Network for Point Completion

Yaqi Xia, Yan Xia외 4명|arXiv (Cornell University)|2021. 04. 19.

3D Shape Modeling and Analysis참고 문헌 64인용 수 8

한 줄 요약

ASFM-Net는 완전한 점군으로부터의 형태 사전 지식을 활용하여 부분적으로 손상된 입력 특징을 향상시키기 위해 비대칭 시아미즈 특징 매칭 네트워크를 제안한다. 이는 시아미즈 오토에인코더를 통해 완전한 점군으로부터의 형태 사전 지식을 추출하여 불완전한 입력 특징을 개선한다. 제안된 방법은 최신 기준 성능을 달성하여 Completion3D 랭킹에서 이전 방법들보다 12% 이상 앞서 1위를 차지하였고, 새로운 카테고리에 대해서도 뛰어난 강건성과 일반화 능력을 보였다.

ABSTRACT

We tackle the problem of object completion from point clouds and propose a novel point cloud completion network employing an Asymmetrical Siamese Feature Matching strategy, termed as ASFM-Net. Specifically, the Siamese auto-encoder neural network is adopted to map the partial and complete input point cloud into a shared latent space, which can capture detailed shape prior. Then we design an iterative refinement unit to generate complete shapes with fine-grained details by integrating prior information. Experiments are conducted on the PCN dataset and the Completion3D benchmark, demonstrating the state-of-the-art performance of the proposed ASFM-Net. Our method achieves the 1st place in the leaderboard of Completion3D and outperforms existing methods with a large margin, about 12%. The codes and trained models are released publicly at https://github.com/Yan-Xia/ASFM-Net.

연구 동기 및 목표

• 기존 점군 복구 방법에서의 불완전한 전역 특징의 한계를 보완하기 위해 완전한 형태로부터의 형태 사전 지식을 통합한다.
• 완성된 점군의 재구성 정밀도와 세밀한 기하학적 세부 정보를 향상시킨다.
• 높은 가림(낮은 가시 비율) 조건에서도 강건성을 확보하고, 새로운 물체 카테고리로의 일반화 능력을 향상시킨다.
• 입력의 세부 정보를 유지하면서 고밀도이고 완전한 출력을 생성하는 코arse-투-파인 프레임워크를 개발한다.
• 특히 Completion3D와 같은 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

제안 방법

• 부분적이고 완전한 점군을 공유된 잠재 공간으로 매핑하기 위해 비대칭 시아미즈 오토에인코더를 훈련시켜, 특징 매칭을 통해 두 입력의 전역 특징을 정렬한다.
• 시아미즈 네트워크는 부분적 및 완전한 입력에 모두 공통된 인코더를 사용하고, 완전한 형태에 대해 별도의 디코더를 사용하여 형태 사전 지식을 학습한다.
• 특징 매칭 전략을 통해 완전한 입력과 부분적인 입력의 전역 특징 간 일관성을 강제하여, 불완전한 특징 표현을 개선한다.
• 반복적 정밀화 모듈을 도입하여 사전 지식과 입력 특징에서 고해상도이고 세밀한 점군을 점진적으로 재구성한다.
• 정밀화 모듈은 입력 기하학적 구조를 유지하면서 주의 메커니즘과 스킵 연결을 활용해 누락된 부분을 반복적으로 추론한다.
• 형상 정밀도를 최적화하기 위해 재구성 손실과 특징 매칭 손실의 조합을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 완전한 점군으로부터의 형태 사전 지식이 3차원 복구에서 불완전한 입력의 표현을 향상시킬 수 있는가?
• RQ2 부분적이고 완전한 형태 간의 특징 매칭이 재구성 품질을 어떻게 향상시키는가?
• RQ3 반복적 정밀화 모듈이 불완전한 입력에서 세밀한 기하학적 세부 정보를 효과적으로 복원할 수 있는가?
• RQ4 높은 가림 조건(낮은 가시 비율)에서 이 방법은 얼마나 강건한가?
• RQ5 사전 훈련 기간 동안 볼 수 없었던 새로운 물체 카테고리로의 일반화 능력은 얼마나 우수한가?

주요 결과

• ASFM-Net는 Completion3D 벤치마크에서 1위를 차지하여 이전 최신 기준 방법보다 모든 지표에서 12% 이상 뛰어난 성능을 보였다.
• PCN 데이터셋에서 ASFM-Net는 모든 가시 비율에서 최저의 카프먼 거리(CD-P)를 기록하였으며, 80% 가시 비율일 경우 CD-P는 16.27×10⁻³이었다.
• 높은 가림 조건에서도 매우 강건한 성능을 보였다: 20% 가시 비율에서도 일관된 형태(예: 완전한 비행기)를 재구성할 수 있었고, PCN는 완전히 실패하였다.
• 제거 실험 결과에 따르면 반복적 정밀화 모듈이 시아미즈 특징 매칭 모듈보다 성능 향상에 더 큰 기여를 하였다.
• 새로운 카테고리, 특히 시각적으로 유사하지 않은 카테고리(예: 권총, 스케이트보드)에 대해서도 기존 방법들보다 뚜렷이 뛰어난 성능을 보였으며, 강력한 일반화 능력을 입증하였다.
• 비대칭 시아미즈 오토에인코더는 새로운 카테고리에서 오류를 일으킬 수 있는 초기 출력을 생성하지만(예: 침대가 의자로 오해됨), 정밀화 모듈이 이를 수정함으로써 세부 정보 복구의 효과성을 입증하였다.