[논문 리뷰] MKConv: Multidimensional Feature Representation for Point Cloud Analysis

Sungmin Woo, Dogyoon Lee외 3명|arXiv (Cornell University)|2021. 07. 27.

3D Surveying and Cultural Heritage인용 수 6

한 줄 요약

MKConv는 커널 가중치 내의 공간 상관관계를 학습하여 1차원 점 특징을 다차원 행렬로 변환하는 새로운 점 컨벌루션 연산자를 제안한다. 이는 비바이트화된 점군에서 이산 컨벌루션을 가능하게 하여 더 풍부한 局소 기하학적 구조를 포착한다. 이 방법은 점군 분류, 부품 세그멘테이션, 시나리오 세그멘테이션에서 최신 기술 수준의 성능을 달성하며, S3DIS에서 최대 67.7%의 mIoU와 ModelNet40에서 93.7%의 정확도를 기록한다.

ABSTRACT

Despite the remarkable success of deep learning, an optimal convolution operation on point clouds remains elusive owing to their irregular data structure. Existing methods mainly focus on designing an effective continuous kernel function that can handle an arbitrary point in continuous space. Various approaches exhibiting high performance have been proposed, but we observe that the standard pointwise feature is represented by 1D channels and can become more informative when its representation involves additional spatial feature dimensions. In this paper, we present Multidimensional Kernel Convolution (MKConv), a novel convolution operator that learns to transform the point feature representation from a vector to a multidimensional matrix. Unlike standard point convolution, MKConv proceeds via two steps. (i) It first activates the spatial dimensions of local feature representation by exploiting multidimensional kernel weights. These spatially expanded features can represent their embedded information through spatial correlation as well as channel correlation in feature space, carrying more detailed local structure information. (ii) Then, discrete convolutions are applied to the multidimensional features which can be regarded as a grid-structured matrix. In this way, we can utilize the discrete convolutions for point cloud data without voxelization that suffers from information loss. Furthermore, we propose a spatial attention module, Multidimensional Local Attention (MLA), to provide comprehensive structure awareness within the local point set by reweighting the spatial feature dimensions. We demonstrate that MKConv has excellent applicability to point cloud processing tasks including object classification, object part segmentation, and scene semantic segmentation with superior results.

연구 동기 및 목표

• 표준 점 컨벌루션의 한계를 해결하기 위해, 특징 표현에 공간 차원을 도입함으로써 1차원 벡터로만 표현되는 특징을 개선한다.
• 보간화 기반 방법에서 발생하는 정보 손실을 완화하면서도, 비정규적인 점군에서 효율적인 이산 컨벌루션을 가능하게 한다.
• 학습된 커널 가중치를 통해 특징 차원 간의 공간 상관관계를 모델링하여 국소 기하학적 특징 학습을 향상시킨다.
• 새로운 다차원 국소 주의(Attention) 모듈(Multidimensional Local Attention, MLA)를 사용하여 국소 점 이웃 영역의 구조 인식 능력을 향상시킨다.

제안 방법

• MKConv는 연속적 커널 함수를 통해 다차원 커널 가중치를 학습하여 특징 차원 간의 공간 상관관계 모델링을 가능하게 한다.
• 학습된 커널 가중치를 통해 공간 차원을 활성화함으로써 1차원 점 특징을 2차원 또는 3차원 특징 행렬로 변환한다.
• 결과로 생성된 격자 구조의 다차원 특징에 대해 이산 컨벌루션을 적용하여 보간화를 피하고 기하학적 세부 정보를 유지한다.
• 다차원 국소 주의(MLA) 모듈은 공간 특징 차원을 재가중하여 국소 구조 인식 능력을 향상시킨다.
• 학습 안정성 향상과 일반화 성능 향상을 위해 정규화된 커널 가중치(L2 또는 표준화)를 사용한다.
• 아키텍처는 공유된 MLP를 통한 특징 변환 및 레이어 간 특징 집합 기능을 통합한 MKConv 레이어로 구성된다.

실험 결과

연구 질문

• RQ1 커널 가중치 내의 공간 상관관계를 학습함으로써 점군 분석에서 국소 특징 표현을 향상시킬 수 있는가?
• RQ2 1차원 점 특징을 다차원 행렬로 변환함으로써 국소 기하학적 구조의 모델링이 향상되는가?
• RQ3 커널 학습을 통해 격자 구조의 특징 행렬을 구성함으로써 비보간화된 점군에 효과적으로 이산 컨벌루션을 적용할 수 있는가?
• RQ4 제안된 다차원 국소 주의(MLA) 모듈은 표준 주의 기법에 비해 국소 구조 인식 능력을 얼마나 향상시키는가?
• RQ5 다양한 점군 작업에서 MKConv의 최적의 커널 크기, 이웃 수, 컨벌루션 레이어 수 조합은 무엇인가?

주요 결과

• MKConv는 ModelNet40 분류에서 93.7%의 정확도를 기록하여 이전 방법들을 초월하며, 최적 설정(표준화 + MLA)에서 93.7%의 정확도를 달성한다.
• ShapeNetPart의 부품 세그멘테이션에서 MKConv는 86.3%의 mIoU를 기록하며, 최적 모델(C)은 32개의 이웃을 사용해 86.5%의 mIoU를 달성한다.
• S3DIS의 의미적 시나리오 세그멘테이션에서 MKConv는 89.6%의 OA와 67.7%의 mIoU를 기록하며, 최적 설정(표준화 + MLA)을 사용한다.
• 레이어당 이웃 수를 64개에서 20개로 줄임으로써 추론 지연 시간을 6.76ms에서 3.96ms로 감소시켰으며, 정확도는 0.2% 감소에 그친다.
• MKConv 유닛당 이산 컨벌루션 레이어를 3개 또는 4개 사용할 경우 2개 레이어보다 우수한 성능을 기록하며, 4개 레이어는 3개 레이어에 비해 약간의 성능 향상을 보였다.
• 특징 시각화 결과는 깊이가 깊어질수록 고수준의 의미적 구조(예: 날개, 다리)를 학습하는 반면, 초기 레이어는 가장자리와 모서리를 탐지함을 확인했다.