[논문 리뷰] FPConv: Learning Local Flattening for Point Convolution

Yiqun Lin, Zizheng Yan외 5명|arXiv (Cornell University)|2020. 02. 25.

3D Shape Modeling and Analysis참고 문헌 52인용 수 16

한 줄 요약

FPConv는 3D 포인트 클라우드 분석을 위한 새로운 서피스 스타일 컨볼루션을 도입하며, 이는 이산화 가능한 웨이트 매핑을 통해 이웃 포인트를 2D 격자에 투영함으로써 국소 평탄화를 학습함으로써 국소 기하 구조에서 효율적인 2D 컨볼루션을 가능하게 한다. 볼륨 메트릭 컨볼루션과 함께 공동 학습될 경우 최신 기술 수준의 성능을 달성하며, 서피스 스타일과 볼륨 메트릭 스타일 접근법 간의 강력한 상호보완성을 입증한다.

ABSTRACT

We introduce FPConv, a novel surface-style convolution operator designed for 3D point cloud analysis. Unlike previous methods, FPConv doesn't require transforming to intermediate representation like 3D grid or graph and directly works on surface geometry of point cloud. To be more specific, for each point, FPConv performs a local flattening by automatically learning a weight map to softly project surrounding points onto a 2D grid. Regular 2D convolution can thus be applied for efficient feature learning. FPConv can be easily integrated into various network architectures for tasks like 3D object classification and 3D scene segmentation, and achieve comparable performance with existing volumetric-type convolutions. More importantly, our experiments also show that FPConv can be a complementary of volumetric convolutions and jointly training them can further boost overall performance into state-of-the-art results.

연구 동기 및 목표

• 포인트 클라우드의 희박하고 순서가 없는 성격을 감안할 때 효율적이고 강건한 3D 포인트 클라우드 분석에 도전하는 것.
• 높은 메모리 비용과 계산 부담 등 볼륨 메트릭 컨볼루션의 한계를 극복하는 것.
• 격자나 그래프와 같은 중간 표현에 의존하지 않고 서피스 스타일 컨볼루션을 향상시키는 것.
• 서피스 스타일과 볼륨 메트릭 스타일 컨볼루션 간의 상호보완성을 탐색하여 성능 향상을 이루는 것.
• 명시적 투영 방법보다 더 잘 일반화되는 학습 가능한 암묵적 평탄화 메커니즘을 개발하는 것.

제안 방법

• FPConv는 주변 포인트를 2D 격자에 부드럽게 투영하기 위해 이산화 가능한 웨이트 매핑을 학습함으로써 국소 평탄화를 수행하며, 명시적 기하 투영을 피한다.
• 웨이트 매핑은 종단 간(end-to-end)으로 학습되어 네트워크가 국소 표면을 따라 컨볼루션 웨이트를 어떻게 확산시킬지 적응적으로 결정할 수 있도록 한다.
• 평탄화 이후, 표준 2D 컨볼루션을 투영된 격자에 적용하여 효율적인 국소 특징 학습을 수행한다.
• 이 방법은 중간 3D 격자나 그래프 구조를 필요로 하지 않고 포인트 클라우드 기하 구조에 직접 작용한다.
• 분류 및 분할 작업을 위한 다양한 네트워크 아키텍처에 통합 가능하다.
• 성능 향상을 위해 밀도 정규화보다 우수한 성능을 보이는 이중 단계 정규화 전략(sparse-norm)을 사용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 암묵적 평탄화 메커니즘이 서피스 스타일 포인트 클라우드 컨볼루션에서 명시적 기하 투영보다 우수한 성능을 낼 수 있는가?
• RQ2 FPConv는 3D 포인트 클라우드 작업에서 기존의 서피스 스타일 및 볼륨 메트릭 스타일 컨볼루션 방법과 비교해 성능가 어떻게 되는가?
• RQ3 특히 표면 곡률 측면에서, FPConv는 볼륨 메트릭 컨볼루션보다 어떤 상황에서 뛰어난 성능을 보이는가?
• RQ4 서피스 스타일과 볼륨 메트릭 스타일 컨볼루션은 효과적으로 융합되어 초우수한 성능을 달성할 수 있는가?
• RQ5 격자 해상도 및 정규화 방법과 같은 아키텍처 선택 사항이 FPConv의 성능에 어떤 영향을 미치는가?

주요 결과

• FPConv는 3D 객체 분류 및 스캐빈 세그먼테이션 작업에서 최신 기술 수준의 볼륨 메트릭 스타일 방법과 유사한 성능을 달성한다.
• 특히 평평하고 곡률이 낮은 영역에서 이전의 서피스 스타일 방법(PointConv, KPConv 등)보다 뚜렷이 뛰어난 성능을 보인다.
• S3DIS area 5에서 FPConv는 희소 정규화와 6×6 격자 조합으로 62.8 mIoU, 69.0 mAcc, 88.3 oAcc를 기록하여 밀도 정규화 및 더 작은 격자보다 뛰어난 성능을 보였다.
• 평평한 표면에서 뛰어난 일반화 성능를 보이며, 곡률이 높은 영역에서는 성능 저하가 발생함으로써 기하적 민감성의 확인이 되었다.
• FPConv를 볼륨 메트릭 컨볼루션(KPConv 등)과 함께 공동 학습함으로써 최신 기술 수준의 결과를 달성하였으며, 이는 두 접근법 간의 상호보완성을 입증한다.
• 시각화 결과, FPConv는 기둥과 같은 평평한 구조를 KPConv보다 더 잘 포착하는 것으로 확인되었고, KPConv는 문과 같은 복잡한 형태에서 뛰어난 성능를 보였으며, 두 방법의 융합은 초우수한 결과를 도출하였다.