[논문 리뷰] Point Cloud Completion by Skip-attention Network with Hierarchical Folding

Xin Wen, Tianyang Li외 2명|arXiv (Cornell University)|2020. 05. 08.

3D Shape Modeling and Analysis참고 문헌 43인용 수 13

한 줄 요약

이 논문은 3D 포인트 클라우드 복구를 위한 새로운 엔드 투 엔드 프레임워크인 스킵-어텐션 네트워크(SA-Net)를 제안한다. 이 네트워크는 다중 해상도에서 불완전한 포인트 클라우드의 국소적 구조적 세부 정보를 선택적으로 유지하는 데에 스킵-어텐션 메커니즘을 활용하며, 계층적 폴딩을 사용하는 구조 보존형 디코더를 결합하여 점차적으로 완전한 형태를 생성한다. SA-Net은 ShapeNet과 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 복구 정확도와 일반화 능력에서 뛰어난 성능을 보였다.

ABSTRACT

Point cloud completion aims to infer the complete geometries for missing regions of 3D objects from incomplete ones. Previous methods usually predict the complete point cloud based on the global shape representation extracted from the incomplete input. However, the global representation often suffers from the information loss of structure details on local regions of incomplete point cloud. To address this problem, we propose Skip-Attention Network (SA-Net) for 3D point cloud completion. Our main contributions lie in the following two-folds. First, we propose a skip-attention mechanism to effectively exploit the local structure details of incomplete point clouds during the inference of missing parts. The skip-attention mechanism selectively conveys geometric information from the local regions of incomplete point clouds for the generation of complete ones at different resolutions, where the skip-attention reveals the completion process in an interpretable way. Second, in order to fully utilize the selected geometric information encoded by skip-attention mechanism at different resolutions, we propose a novel structure-preserving decoder with hierarchical folding for complete shape generation. The hierarchical folding preserves the structure of complete point cloud generated in upper layer by progressively detailing the local regions, using the skip-attentioned geometry at the same resolution. We conduct comprehensive experiments on ShapeNet and KITTI datasets, which demonstrate that the proposed SA-Net outperforms the state-of-the-art point cloud completion methods.

연구 동기 및 목표

• 포인트 클라우드 복구에 사용되는 글로벌 표현에서 국소적 구조적 세부 정보의 손실 문제를 해결하기 위해.
• 형태 생성 과정 중에 불완전한 포인트 클라우드의 국소 영역에서 선택적이고 해석 가능한 특징 재사용을 가능하게 하기 위해.
• 다중 해상도 특징을 사용하여 점차적으로 세부 사항을 정교화하면서도 구조적 통합성을 유지하는 디코더를 설계하기 위해.
• 스킵-어텐션과 계층적 폴딩의 효과성을 복구, 세분류, 비지도 분류 작업에서 검증하기 위해.

제안 방법

• 에코더에서 정보적인 국소 영역을 선택적으로 주시하고, 동일한 해상도의 디코더 레이어에 전달하는 스킵-어텐션 메커니즘을 제안한다.
• 스킵-어텐션된 특징을 동일한 해상도에서 기반으로 삼아 계층적 폴딩을 사용하여 점차적으로 포인트 클라우드 영역을 세밀하게 만드는 구조 보존형 디코더를 설계한다.
• 증가하는 밀도를 갖는 2D 격자 샘플링을 사용하여 계층적 폴딩 과정을 안내함으로써 구조적인 포인트 클라우드 생성을 가능하게 한다.
• 완전한 복구 헤드를 세분류 또는 SVM 헤드로 교체함으로써 네트워크를 세분류 및 비지도 형태 분류 작업에 적응시킨다.
• 에코더가 특징을 추출하고, 스킵-어텐션이 특징 흐름을 이끌며, 디코더가 완전한 포인트 클라우드를 재구성하는 엔드 투 엔드 학습 프레임워크를 적용한다.
• 동일한 아키텍처를 후행 작업에 적용하여 복구, 세분류, 분류 간에 학습된 특징의 이식 가능성(transferability)을 입증한다.

실험 결과

연구 질문

• RQ1 학습 가능한 어텐션 메커니즘이 불완전한 포인트 클라우드에서 국소적 구조적 세부 정보를 선택적으로 검색하고 재사용하여 복구 성능을 향상시킬 수 있는가?
• RQ2 구조 보존을 고려한 계층적 폴딩은 생성된 포인트 클라우드의 품질과 일관성에 어떻게 기여하는가?
• RQ3 스킵-어텐션 메커니즘이 세분류 및 비지도 분류와 같은 관련 3D 비전 작업에서 성능 향상에 기여하는가?
• RQ4 제안된 방법이 표준 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• SA-Net은 포인트 클라우드 복구 작업에서 ShapeNet과 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성하여 뛰어난 재구성 정확도를 보였다.
• 스킵-어텐션 메커니즘이 세분류 작업에서 PointNet++ 대비 평균 클래스별 파트 IoU(mpIoU)를 0.6% 향상시켰으며, 오토바이 타이어와 같이 겹치는 부분에 대해 더 정확한 예측을 가능케 하였다.
• 구조 보존형 디코더 덕분에 ModelNet40에서 비지도 형태 분류 작업에서 90.6%의 정확도를 달성하여 감독 학습 기반 PointNet++의 성능과 동일한 결과를 보였다.
• 절단 실험을 통해 스킵-어텐션은 관련 국소적 특징을 선택적으로 통합함으로써 특징 학습을 향상시키고, 중복을 줄이며 일반화 능력을 향상시킨다는 것이 확인되었다.
• 시각화 결과는 스킵-어텐션 메커니즘이 정보적인 국소 영역(예: 비행기의 왼쪽 날개)을 명시적으로 강조함으로써 복구 과정의 해석 가능성을 높임을 보여주었다.