[논문 리뷰] Style-based Point Generator with Adversarial Rendering for Point Cloud Completion

Chulin Xie, Chuxin Wang외 4명|arXiv (Cornell University)|2021. 03. 03.

3D Shape Modeling and Analysis참고 문헌 41인용 수 6

한 줄 요약

이 논문은 채널에 주의를 기울인 EdgeConv를 통합하여 기능 표현을 향상시키고, 스타일 기반 폴딩을 통해 형상 생성을 향상시키며, 미분 가능 깊이 맵 투영을 통한 적대적 포인트 렌더링을 통해 시각적 현실감을 향상시키는 새로운 포인트 클라우드 완성 프레임워크인 SpareNet을 제안한다. 이 방법은 ShapeNet과 KITTI에서 최신 기술 수준의 성능을 달성하여 정량적 지표와 시각적 품질 측면에서 이전 방법들을 능가한다.

ABSTRACT

In this paper, we proposed a novel Style-based Point Generator with Adversarial Rendering (SpareNet) for point cloud completion. Firstly, we present the channel-attentive EdgeConv to fully exploit the local structures as well as the global shape in point features. Secondly, we observe that the concatenation manner used by vanilla foldings limits its potential of generating a complex and faithful shape. Enlightened by the success of StyleGAN, we regard the shape feature as style code that modulates the normalization layers during the folding, which considerably enhances its capability. Thirdly, we realize that existing point supervisions, e.g., Chamfer Distance or Earth Mover's Distance, cannot faithfully reflect the perceptual quality of the reconstructed points. To address this, we propose to project the completed points to depth maps with a differentiable renderer and apply adversarial training to advocate the perceptual realism under different viewpoints. Comprehensive experiments on ShapeNet and KITTI prove the effectiveness of our method, which achieves state-of-the-art quantitative performance while offering superior visual quality.

연구 동기 및 목표

• 부분적으로 입력된 포인트 클라우드에서 세밀한 구조와 전반적인 형상을 유지하는 데에 기존의 포인트 클라우드 완성 방법의 한계를 해결하기 위해.
• 기능 연결으로 인해 특징 표현 능력이 제한된 표준 폴딩 모듈의 모델링 능력의 제약을 극복하기 위해.
• 표준 재구성 손실 대신 렌더링된 깊이 맵에서의 적대적 훈련을 통해 시각적 현실감을 향상시키기 위해.
• 지역 기하학적 특징과 전반적 맥락을 융합하는 엔드 투 엔드 학습을 통해 보다 정확하고 현실적인 완성 결과를 도출하기 위해.

제안 방법

• 지역 k개의 가장 가까운 이웃 특징을 집계하고, 전반적 맥락에 의해 가중된 채널별 주의를 적용하여 기능 표현을 향상시키는 채널에 주의를 기울인 EdgeConv를 도입한다.
• 학습된 형상 특징이 폴딩 MLP의 정규화 레이어를 조절하는 스타일 기반 폴딩을 제안하며, 표준 연결 방식을 대체하여 더 나은 구조적 세부 정보 모델링을 가능하게 한다.
• 다양한 시점에서 생성된 포인트 클라우드를 깊이 맵으로 투영하기 위해 미분 가능한 렌더러를 활용하여 시각적 감독을 수행한다.
• 렌더링된 깊이 맵의 현실감을 평가하는 판별자를 사용하여 적대적 훈련을 수행하며, 생성기가 더 현실적인 출력을 향해 유도한다.
• 다중 스테이지에서 거친 출력을 반복적으로 개선하는 반복적 정밀 조정 모듈을 사용한다.
• 정밀도와 시각적 품질의 균형을 맞추기 위해 재구성 손실(Chamfer Distance, Earth Mover’s Distance)과 적대적 손실을 병합한다.

실험 결과

연구 질문

• RQ1 채널에 주의를 기울인 특징 학습은 포인트 클라우드 완성에서 국소 및 전반적 구조의 표현을 향상시킬 수 있는가?
• RQ2 폴딩에서 표준 특징 연결을 스타일 기반 조절로 대체할 경우, 더 복잡하고 세밀한 3차원 형상을 생성하는 데에 도움이 되는가?
• RQ3 미분 가능한 깊이 맵에서의 적대적 훈련은 표준 재구성 손실을 넘어서 완성된 포인트 클라우드의 시각적 현실감을 향상시킬 수 있는가?
• RQ4 채널 주의, 스타일 기반 폴딩, 적대적 렌더링 등의 다수 구성 요소를 통합할 경우 전체 완성 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 채널에 주의를 기울인 EdgeConv는 기능 표현을 크게 향상시키며, 주의 없이 사용한 기준 모델 대비 EMD가 12.5% 상대적으로 감소하고 CD가 17.5% 감소함을 입증하였다.
• 스타일 기반 폴딩은 수렴 속도 향상과 더 나은 구조적 충실도를 이끌어내었으며, 표준 폴딩 대비 FPD는 15% 향상되고 EMD는 10% 감소하였다.
• 첫 번째 정밀 조정 출력에서 $w_{adv} = 0.1$로 설정한 적대적 렌더링이 최적의 균형을 이룩하였으며, 비적대적 훈련 대비 EMD는 10.2% 감소하고 CD는 15.3% 감소하였다.
• 반복적 정밀 조정은 완성 정확도를 향상시켰으며, 두 번의 정밀 조정을 포함한 전체 모델은 1.898 EMD와 0.535 CD를 기록하여 단일 단계 정밀 조정(1.980 EMD, 0.593 CD)을 능가하였다.
• 제거 실험 결과, 채널 주의, 스타일 기반 폴딩, 또는 적대적 렌더링 중 어느 요소라도 제거할 경우 모든 지표에서 일관된 성능 저하가 발생함을 확인하였다.
• 이 방법은 ShapeNet과 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 특히 고해상도 포인트 클라우드(16,384점)에서 뛰어난 시각적 품질과 정량적 결과를 보였다.