[논문 리뷰] PAI-Conv: Permutable Anisotropic Convolutional Networks for Learning on Point Clouds

Zhongpai Gao, Guangtao Zhai외 2명|arXiv (Cornell University)|2020. 05. 27.

3D Shape Modeling and Analysis참고 문헌 36인용 수 3

한 줄 요약

PAI-Conv는 구면 상의 커널 점들에서 소프트-퍼뮤테이션 행렬을 어텐션 기반으로 학습하는 허용 가능한 이방성 컨벌루션 연산을 도입하여 공유된 이방성 필터링을 가능하게 한다. 이는 어텐션의 인덕티브 바이어스와 효율적인 랜덤 샘플링을 결합함으로써 점군 분류 및 의미 분할 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

It has witnessed a growing demand for efficient representation learning on point clouds in many 3D computer vision applications. Behind the success story of convolutional neural networks (CNNs) is that the data (e.g., images) are Euclidean structured. However, point clouds are irregular and unordered. Various point neural networks have been developed with isotropic filters or using weighting matrices to overcome the structure inconsistency on point clouds. However, isotropic filters or weighting matrices limit the representation power. In this paper, we propose a permutable anisotropic convolutional operation (PAI-Conv) that calculates soft-permutation matrices for each point using dot-product attention according to a set of evenly distributed kernel points on a sphere's surface and performs shared anisotropic filters. In fact, dot product with kernel points is by analogy with the dot-product with keys in Transformer as widely used in natural language processing (NLP). From this perspective, PAI-Conv can be regarded as the transformer for point clouds, which is physically meaningful and is robust to cooperate with the efficient random point sampling method. Comprehensive experiments on point clouds demonstrate that PAI-Conv produces competitive results in classification and semantic segmentation tasks compared to state-of-the-art methods.

연구 동기 및 목표

• 표준 CNN에서 가정하는 유클리드 기하학적 구조를 갖지 않는 비정규적이고 순서가 없는 점군에서 효과적인 표현을 학습하는 데 도전한다.
• 기존 점 신경망에서의 등방성 필터와 고정된 가중치 행렬의 한계를 극복하여 표현 능력을 제한하는 문제를 해결한다.
• 커널 점에 대한 어텐션을 통해 공간적으로 적응형 컨벌루션을 학습할 수 있는 물리적으로 의미 있는, 미분 가능한 메커니즘을 제안한다.
• 점군 처리에서 흔히 사용되는 랜덤 점 샘플링 전략과 통합하여 강건하고 효율적인 특징 학습을 가능하게 한다.
• 계산 효율적이면서도 인덕티브 바이어스를 유지하는 점군용 트랜스포머 메커니즘의 등가체를 개발한다.

제안 방법

• 구면 표면에 균일하게 분포된 커널 점들을 정의하여 어텐션 기반 소프트-퍼뮤테이션 학습을 위한 쿼리 점으로 활용한다.
• 각 점의 특징과 커널 점 간의 내적 어텐션을 통해 소프트-퍼뮤테이션 행렬을 계산함으로써 적응형 공간 집계를 가능하게 한다.
• 퍼뮤테이션된 근처 영역 특징에 공유된 이방성 필터를 적용하여 네트워크가 방향에 민감한 표현을 학습할 수 있도록 한다.
• NLP 트랜스포머의 키-쿼리 메커니즘과 유사하게 어텐션 메커니즘을 공식화함으로써 해석 가능성과 물리적 타당성을 확보한다.
• 효율적인 랜덤 점 샘플링과 PAI-Conv 레이어를 통합하여 학습 및 추론 중 계산 효율성을 유지한다.
• 표준 역전파 알고리즘을 사용하여 네트워크를 엔드 투 엔드로 훈련하며, 특징 투영 및 어텐션 계산에 대한 학습 가능한 파라미터를 포함한다.

실험 결과

연구 질문

• RQ1 구면 상의 커널 점들에 대한 어텐션 기반 메커니즘이 비정규적 점군에서 공간적으로 적응형 컨벌루션을 효과적으로 학습할 수 있는가?
• RQ2 제안된 PAI-Conv 연산은 등방성 및 고정된 가중치 필터를 갖는 컨벌루션 레이어와 비교해 표현 능력과 일반화 성능 측면에서 어떻게 다른가?
• RQ3 PAI-Conv는 점군 처리에서 흔히 사용되는 랜덤 점 샘플링 전략과 얼마나 잘 통합되고, 그로 인해 어떤 이점을 얻는가?
• RQ4 어텐션 기반의 소프트-퍼뮤테이션 메커니즘은 NLP에서 트랜스포머와 유사한 의미 있는 인덕티브 바이어스를 제공하는가?
• RQ5 PAI-Conv는 점군 분류 및 의미 분할 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PAI-Conv는 점군 분류 및 의미 분할 벤치마크에서 경쟁력 있는 성능을 달성하며, 최신 기술 수준의 기존 방법과 동등하거나 이를 초월한다.
• 어텐션 기반의 소프트-퍼뮤테이션 메커니즘은 네트워크가 이방성으로, 방향에 민감한 특징을 학습할 수 있도록 하여 비정규적 점군에서 표현 학습을 향상시킨다.
• 효율적인 랜덤 점 샘플링과 결합할 경우 강건하며, 계산 비용을 줄이면서도 높은 정확도를 유지한다.
• 커널 점에 대한 어텐션 메커니즘은 자기 어텐션 메커니즘과 유사하게 물리적으로 해석 가능하고, 미분 가능한 방식으로 이웃 점들을 적응적으로 재가중하는 데 기여한다.
• PAI-Conv는 다양한 3차원 데이터셋에 걸쳐 강력한 일반화 성능을 보이며, 특정 아키텍처나 데이터 분포를 초월한 효과성을 입증한다.
• 제거 실험 결과 소프트-퍼뮤테이션 메커니즘과 이방성 필터링이 성능 향상에 핵심적인 역할을 하며, 등방성 또는 고정된 가중치 기반 베이스라인을 능가함을 확인했다.