[논문 리뷰] DensePoint: Learning Densely Contextual Representation for Efficient Point Cloud Processing

Yongcheng Liu, Bin Fan외 4명|arXiv (Cornell University)|2019. 09. 09.

3D Shape Modeling and Analysis참고 문헌 60인용 수 32

한 줄 요약

DensePoint는 순열 불변 일반화 합성(PConv)과 밀집 연결 아키텍처를 통해 불규칙한 포인트 클라우드로부터 다중 수준, 다중 스케일 컨텍스트 표현을 직접 학습하고, 분류, 검색, 분할 및 법선 추정에서 최첨단 성능을 달성합니다.

ABSTRACT

Point cloud processing is very challenging, as the diverse shapes formed by irregular points are often indistinguishable. A thorough grasp of the elusive shape requires sufficiently contextual semantic information, yet few works devote to this. Here we propose DensePoint, a general architecture to learn densely contextual representation for point cloud processing. Technically, it extends regular grid CNN to irregular point configuration by generalizing a convolution operator, which holds the permutation invariance of points, and achieves efficient inductive learning of local patterns. Architecturally, it finds inspiration from dense connection mode, to repeatedly aggregate multi-level and multi-scale semantics in a deep hierarchy. As a result, densely contextual information along with rich semantics, can be acquired by DensePoint in an organic manner, making it highly effective. Extensive experiments on challenging benchmarks across four tasks, as well as thorough model analysis, verify DensePoint achieves the state of the arts.

연구 동기 및 목표

• 불규칙한 점들로 형성된 복잡한 3D 모양을 인식하기 위해 충분히 맥락 있는 의미 정보의 필요성을 동기 부여한다.
• 불규칙한 포인트 클라우드에서 순열 불변이며 로컬 연결성과 가중치 공유를 지원하는 일반화 합성 연산자를 개발한다.
• 다층 다중 스케일 컨텍스트를 축적하여 더 풍부한 표현을 제공하는 DensePoint, 밀집 연결 아키텍처를 제안한다.
• 효율성을 위해 좁은 채널 설계를 유지하면서 그룹 필터를 가진 ePConv(강화된 PConv)로 표현력을 향상시킨다.
• 모양 분류, 검색, 부품 분할, 법선 추정에서 최첨단 성능을 시연한다.

제안 방법

• 포인트 클라우드에서 정의된 일반화 합성 PConv를 도입한다: f_N(x) = rho({phi(f_xn) for x_n in N(x)}), 여기서 phi는 공유 변환이고 rho는 대칭적 집계이다.
• 로컬 이웃에서 PConv를 적용하고 점들을 다운샘플링하여 학습 가능한 풀링을 수행하는 PPool을 정의한다.
• 모든 선행 층의 입력을 받고 출력을 모든 후속 층에 전달하는, 밀집 연결에서 영감을 받은 DensePoint 아키텍처를 채택하여 밀집 컨텍스트 표현을 가능하게 한다.
• 출력 채널을 좁게 유지하면서 유효 용량을 확장하기 위해 필터 그룹핑이 포함된 ePConv(강화된 PConv)를 도입하고, 그룹화된 phi와 그룹 출력을 통합하기 위한 결합 psi를 사용한다.
• 분류를 위해 세 개의 PPools와 다수의 DensePoints를 가진 스테이지 기반 네트워크를 사용하고, 점별 작업을 위해 특징 전파가 포함된 네 개의 DensePoints를 사용한다.
• 설계 선택들을 실험한다: 좁은 채널 폭 k, 집계 함수(최대 풀링 권장), 그룹 수 Ng, DensePoint를 적용하는 스테이지들.

실험 결과

연구 질문

• RQ1 포인트 클라우드용 합성 연산자를 순열 불변으로 만들고 효율적인 로컬 패턴 학습이 가능하게 할 수 있는가?
• RQ2 밀집 연결된 다층 컨텍스트 학습 프레임워크가 전통적인 계층적 포인트-클라우드 네트워크보다 형태 이해를 향상시키는가?
• RQ3 좁은 채널 폭, 그룹 필터링, 스테이지 배치와 같은 설계 선택이 작업 전반의 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 DensePoint가 이전 방법에 비해 분류, 검색, 분할 및 법선 추정에서 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• DensePoint는 네 가지 작업에서 최첨단 성능을 달성한다: 분류, 모양 검색, 부품 분할, 및 법선 추정.
• ModelNet40 분류에서 1k 포인트로 DensePoint는 93.2% 정확도에 도달( PointNet++ 및 다른 포인트 기반 방법들보다 우수).
• DensePoint는 ModelNet40에서 1k 포인트를 사용하여 mAP 88.5%로 검색 결과를 크게 향상시킨다.
• ShapeNet 부품 분할에서 DensePoint는 클래스 mIoU 84.2%, 인스턴스 mIoU 86.4%를 달성하여 선도하는 포인트 기반 방법들을 능가한다.
• ModelNet40의 법선 추정에서 DensePoint는 0.149의 오차(cosine 손실)를 달성하여 이전 방법들을 능가하고 PointNet++(0.29) 등 대비 큰 이점을 보인다.
• 병목 연구는 밀집 컨텍스트 학습, 그룹 필터링이 있는 ePConv, 그리고 최대 풀링 집계 전략의 효과를 확인하며, DensePoint가 기준선 및 연결(concatenation) 변형을 지속적으로 능가함을 보여준다.