[논문 리뷰] PointAtrousGraph: Deep Hierarchical Encoder-Decoder with Point Atrous Convolution for Unorganized 3D Points

Liang Pan, Chee–Meng Chew외 1명|arXiv (Cornell University)|2019. 07. 23.

3D Shape Modeling and Analysis참고 문헌 65인용 수 7

한 줄 요약

이 논문은 Point Atrous Convolution (PAC)을 활용하여 확대된 수신 영역를 통해 다중 척도의 에지 특징을 캡처하는, 순서에 민감하지 않은 3D 포인트 클라우드를 위한 깊이 있는 순열 불변성 히에라르키컬 인코더-디코더 네트워크인 PointAtrousGraph (PAG)을 제안한다. Edge-preserved Pooling (EP), Edge-preserved Unpooling (EU), 및 체인 연결 스위프트 커넥션을 통합함으로써, PAG는 다운샘플링 및 업샘플링 과정에서 중요한 기하학적 세부 정보를 유지하며, 기존 방법보다 메모리 소비를 줄이고 추론 속도를 높여 3D 세분화, 물체 분류, 파트 세분화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Motivated by the success of encoding multi-scale contextual information for image analysis, we propose our PointAtrousGraph (PAG) - a deep permutation-invariant hierarchical encoder-decoder for efficiently exploiting multi-scale edge features in point clouds. Our PAG is constructed by several novel modules, such as Point Atrous Convolution (PAC), Edge-preserved Pooling (EP) and Edge-preserved Unpooling (EU). Similar with atrous convolution, our PAC can effectively enlarge receptive fields of filters and thus densely learn multi-scale point features. Following the idea of non-overlapping max-pooling operations, we propose our EP to preserve critical edge features during subsampling. Correspondingly, our EU modules gradually recover spatial information for edge features. In addition, we introduce chained skip subsampling/upsampling modules that directly propagate edge features to the final stage. Particularly, our proposed auxiliary loss functions can further improve our performance. Experimental results show that our PAG outperform previous state-of-the-art methods on various 3D semantic perception applications.

연구 동기 및 목표

• 비정규적인 3D 포인트 클라우드에서 다중 척도의 국소 기하학적 특징을 학습하는 데 도전하는 것.
• 기존 포인트 컨볼루션 방법의 제한된 수신 영역로 인해 작은 국소 이웃 영역 내에서만 맥락을 캡처할 수 있는 문제를 해결하는 것.
• 다운샘플링 및 업샘플링 과정에서 에지 특징을 유지하는 히에라르키컬 인코더-디코더 아키텍처를 설계하여 미세한 기하학적 세부 정보 손실을 방지하는 것.
• 이웃성 그래프 기반 모델보다 학습 메모리와 추론 시간을 줄이면서도 성능을 유지하거나 향상시키는 것.
• 새로운 보조 손실 함수(MMD 및 깊이 감독 손실)를 통해 3D 세분화 인식 작업을 향상시키는 것.

제안 방법

• 샘플링 비율을 도입하여 이웃 포인트를 희소하게 샘플링함으로써 아트로우스 컨볼루션을 포인트 클라우드에 확장하는 Point Atrous Convolution (PAC)을 제안하여 계산량을 증가시키지 않고도 효과적 수신 영역를 확대한다.
• 기하학적 중요도를 기반으로 대표 포인트를 선택함으로써 비중첩 최대 풀링의 변종인 Edge-preserved Pooling (EP)을 도입하여 히에라르키컬 다운샘플링 과정에서 중요한 에지 특징을 유지한다.
• 메트릭 공간에서 가장 가까운 유지된 포인트로부터 특징을 전파함으로써 업샘플링 과정에서 공간 세부 정보를 복원하는 Edge-preserved Unpooling (EU)을 개발한다.
• 하향식 및 상향식 스위프트 서브샘플링/업샘플링 모듈을 체인 형태로 연결하여 하위 레벨에서 상위 레벨으로 직접 특징을 전달함으로써 장거리 특징 흐름을 유지하고 정보 손실을 줄인다.
• 보조 손실을 통합: 계층 간 특징 분포를 정렬하기 위해 Maximum Mean Discrepancy (MMD) 손실을 사용하고, 학습 안정성 향상과 특징 학습 향상을 위해 깊이 감독 손실을 적용한다.

실험 결과

연구 질문

• RQ1 비정규적인 3D 포인트 클라우드에서 다운샘플링 및 업샘플링 과정에서도 에지 세부 정보를 유지하면서 다중 척도의 국소 기하학적 특징을 효과적으로 학습할 수 있는 히에라르키컬 인코더-디코더 아키텍처가 가능한가?
• RQ2 아트로우스 컨볼루션 원리를 3D 포인트 클라우드에 어떻게 적용하여 계산 비용을 증가시키지 않고도 큰 유연한 수신 영역를 확보할 수 있는가?
• RQ3 에지 유지 풀링 및 업샘플링 연산이 표준 풀링 방법에 비해 3D 세분화에서 특징 표현을 얼마나 향상시키는가?
• RQ4 MMD 및 깊이 감독 손실과 같은 보조 손실이 3D 포인트 클라우드 네트워크의 특징 학습과 모델 일반화 능력을 향상시키는 데 기여하는가?
• RQ5 제안된 아키텍처는 기존의 이웃성 그래프 기반 모델보다 더 낮은 메모리 소비와 빠른 추론 시간으로 더 높은 성능을 달성하는가?

주요 결과

• PAG는 ShapeNet 및 S3DIS를 포함한 여러 벤치마크에서 3D 세분화, 물체 분류, 파트 세분화에서 최신 기술 수준의 성능을 달성한다.
• DGCNN(275.4 ms, 3.2M) 및 SpiderCNN(275.4 ms, 3.2M)에 비해 더 빠른 추론 시간(109.8 ms)과 더 낮은 파라미터 수(1.8M)를 기록하여 효율성이 향상됨을 보여준다.
• 다양한 샘플링 비율을 적용한 PAC의 사용은 효과적인 다중 척도 특징 학습을 가능하게 하며, 실험 결과 특징 공간에서의 특징 추출이 메트릭 공간에서의 추출보다 더 빠른 수렴 속도와 더 높은 정확도를 제공함을 입증한다.
• 에지 유지 풀링 및 업샘플링 연산은 S3DIS 및 ShapeNet에서의 정성적 결과를 통해 히에라르키컬 처리 과정에서 기하학적 세부 정보 손실을 크게 줄임을 확인한다.
• 보조 MMD 및 깊이 감독 손실은 특히 미세한 구조를 포함한 복잡한 3D 시나리오에서 더 안정적인 학습과 향상된 성능을 이끌어내며, 성능 향상에 기여한다.
• 비회전 학습 조건에서도 모델은 작은 변동만을 보이며 일관된 성능을 유지함으로써 강력한 일반화 능력을 보여준다.