[논문 리뷰] Spherical CNNs on Unstructured Grids

Chiyu Max Jiang, Jingwei Huang외 4명|arXiv (Cornell University)|2019. 01. 07.

Remote Sensing and LiDAR Applications인용 수 66

한 줄 요약

본 논문은 MeshConv를 도입한다. 매개변수화된 미분 연산자 기반의 컨볼루션으로 메시에서 방향성 있는 CNN을 비정형 격자에 대해 효율적으로 구현하고, 구면 신호에 대해 매개변수를 줄이면서 구면 신호에 대해 최신 수준의 성능에 근접하거나 이를 능가하는 성능을 다양한 태스크에서 달성한다.

ABSTRACT

We present an efficient convolution kernel for Convolutional Neural Networks (CNNs) on unstructured grids using parameterized differential operators while focusing on spherical signals such as panorama images or planetary signals. To this end, we replace conventional convolution kernels with linear combinations of differential operators that are weighted by learnable parameters. Differential operators can be efficiently estimated on unstructured grids using one-ring neighbors, and learnable parameters can be optimized through standard back-propagation. As a result, we obtain extremely efficient neural networks that match or outperform state-of-the-art network architectures in terms of performance but with a significantly lower number of network parameters. We evaluate our algorithm in an extensive series of experiments on a variety of computer vision and climate science tasks, including shape classification, climate pattern segmentation, and omnidirectional image semantic segmentation. Overall, we present (1) a novel CNN approach on unstructured grids using parameterized differential operators for spherical signals, and (2) we show that our unique kernel parameterization allows our model to achieve the same or higher accuracy with significantly fewer network parameters.

연구 동기 및 목표

• 구면 신호를 위한 비정형 격자(메시)에서 방향성을 갖는 CNN을 개발한다.
• 매개변수화를 통한 커널 매개변수화를 제안하여 매개변수를 줄인다.
• 다양한 태스크에서 적은 매개변수로 높은 정확도를 달성한다는 것을 보여준다.
• 구면 MNIST, 3D 객체 분류, 전방향 세그먼테이션, 기후 패턴 세그먼테이션에의 적용 가능성을 시연한다.
• 추가 연구와 확장을 위한 오픈 소스 코드 공개.

제안 방법

• 전통적인 CNN 커널을 학습 가능한 가중치로 매개변수화된 미분 연산자의 선형 조합으로 대체한다.
• 네 가지 연산자(I, x 및 y 방향의 1차 도함수, Laplacian)를 사용해 커널(theta0*I + theta1*dx + theta2*dy + theta3*L)을 구성한다.
• 비정형 격자에서 원환(neighborhood) 기반의 cotangent 이산화를 이용해 Laplacian을 포함한 미분 연산자들을 효율적으로 추정한다.
• icosahedral 메시를 사용해 구를 이산화하여 간편한 축소/확대 및 풀링/언풀링을 가능하게 한다.
• 역전파와 표준 옵티마이저로 엔드투엔드로 학습한다.
• 분류, 세그먼테이션 및 기후 태스크를 위한 인코더–디코더 변형의 MeshConv 아키텍처를 제공한다.

실험 결과

연구 질문

• RQ1 매개변수화된 미분 연산자(PDO)가 비정형 격자에서 기존 컨볼루션 커널을 더 적은 매개변수로 근사할 수 있는가?
• RQ2 PDO 기반 MeshConv 네트워크가 구면 및 매니폴드-값 태스크에서 경쟁력 있거나 우수한 정확도를 달성하면서 매개변수 효율성을 향상시키는가?
• RQ3 전방향 이미지 세그먼테이션 및 기후 패턴 세그먼테이션과 같은 태스크에서 방향성 구면 CNN은 최신 방법과 비교해 얼마나 잘 수행하는가?
• RQ4 icosahedral 구면 메시가 구면 신호에 대한 CNN의 이산화로서 정확도와 효율성 측면에서 효과적인가?
• RQ5 커널에 다중 미분 연산자를 포함시키는 것이 성능에 미치는 영향(앱레이션 연구)은 무엇인가?

주요 결과

Model	Input	Accu. (%)
3DShapeNets	voxels	84.7
VoxNet	voxels	85.9
PointNet	points	89.2
PointNet++	points	91.9
DGCNN	points	92.2
S2CNN	spherical	85.0
SphericalCNN	spherical	88.9
Ours spherical	spherical	90.5

• PDO를 갖는 MeshConv는 태스크 전반에서 매개변수가 현저히 적은 수에 비해 최첨단 또는 경쟁력 있는 정확도를 달성한다.
• 구면 MNIST에서 제안 method는 약 62k 매개변수로 99.23% 정확도를 달성하며 S2CNN 및 SphereNet 베이스라인을 능가한다.
• ModelNet40 결과는 파생 최대 정확도가 경쟁적이며 매개변수 효율성은 PointNet++, VoxNet, S2CNN 베이스라인에 비해 우수하다.
• 2D3DS의 전방향 이미지 세그먼테이션은 구면 세그먼테이션이 평면 베이스라인 및 3D 포인트 기반 방법을 매개변수 범위 전반에서 능가함을 보여준다.
• 전체 글로벌 입력을 사용하는 기후 패턴 세그먼테이션(AR 및 TC)은 무작위 크롭을 사용하는 베이스라인보다 평균 정확도가 더 높으며, 전역 데이터에서의 전체적 이해를 보여준다.
• 앱레이션 연구는 모든 미분 연산자 구성요소를 포함하는 것이 최상의 정확도를 제공하며, 더 많은 연산자를 추가할수록 성능이 향상됨을 확인한다.