[논문 리뷰] Scalable and Equivariant Spherical CNNs by Discrete-Continuous (DISCO) Convolutions

Jeremy Ocampo, Matt A. Price외 1명|arXiv (Cornell University)|2022. 09. 27.

Medical Imaging and Analysis인용 수 5

한 줄 요약

이 논문은 계산적 확장성과 SO(3) 회전 등변성이라는 두 가지 핵심 요건을 동시에 충족시키는 구면 CNN을 위한 DISCO(이산-연속) 군 컨벌루션을 제안한다. 이는 기존 방법에서의 주요 한계를 해결한다. 이중 이산 샘플링과 희소 텐서 연산에 의한 연속 대칭 보존을 통해 DISCO는 계산 및 메모리 사용에서 선형 스케일링을 달성하며, 고해상도 구면 세그멘테이션 및 깊이 추정 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

No existing spherical convolutional neural network (CNN) framework is both computationally scalable and rotationally equivariant. Continuous approaches capture rotational equivariance but are often prohibitively computationally demanding. Discrete approaches offer more favorable computational performance but at the cost of equivariance. We develop a hybrid discrete-continuous (DISCO) group convolution that is simultaneously equivariant and computationally scalable to high-resolution. While our framework can be applied to any compact group, we specialize to the sphere. Our DISCO spherical convolutions exhibit $ ext{SO}(3)$ rotational equivariance, where $ ext{SO}(n)$ is the special orthogonal group representing rotations in $n$-dimensions. When restricting rotations of the convolution to the quotient space $ ext{SO}(3)/ ext{SO}(2)$ for further computational enhancements, we recover a form of asymptotic $ ext{SO}(3)$ rotational equivariance. Through a sparse tensor implementation we achieve linear scaling in number of pixels on the sphere for both computational cost and memory usage. For 4k spherical images we realize a saving of $10^9$ in computational cost and $10^4$ in memory usage when compared to the most efficient alternative equivariant spherical convolution. We apply the DISCO spherical CNN framework to a number of benchmark dense-prediction problems on the sphere, such as semantic segmentation and depth estimation, on all of which we achieve the state-of-the-art performance.

연구 동기 및 목표

• 계산적 확장성과 회전 등변성이 동시에 확보된 구면 CNN 프레임워크의 부족을 해결한다.
• 연속 구면 CNN의 계산 비용 과다 문제와 이산적 접근의 등변성 실패 문제를 극복한다.
• 구면 데이터에서 고해상도 밀도 예측 작업(예: 세분화, 깊이 추정)을 가능하게 한다.
• 희소 텐서 기반 구현을 통해 구면 픽셀 수에 비례해 선형적으로 확장 가능한 프레임워크를 개발한다.
• 2D3DS, Omni-SYNTHIA, Pano3D를 포함한 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• SO(3) 회전 등변성을 유지하면서도 효율적인 계산을 가능하게 하는 하이브리드 이산-연속(DISCO) 군 컨벌루션을 도입한다.
• 계산 비용 감소를 위해 구면에서의 DISCO 컨벌루션을 SO(3)/SO(2) 몫 공간을 이용해 정의함으로써 渐近적(SO(3)) 등변성을 유지한다.
• 계산 비용과 메모리 사용량에서 선형 스케일링을 달성하기 위해 희소 텐서 표현 방식을 구현한다.
• 빠른 구면 조화 함수 변환과 샘플링 정리들을 활용하여 이산 그리드 프레임워크 내에서 연속 대칭 인식을 유지한다.
• 밀도 예측 작업을 위해 전치된(DISCO) 컨벌루션을 설계하여 고해상도 입력 및 출력을 지원한다.
• TensorFlow에서 커스텀 기울기를 사용하여 엔드 투 엔드 미분 가능성과 하드웨어 가속기(_GPU/TPU_) 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 계산적 확장성과 정확한 SO(3) 회전 등변성을 동시에 달성할 수 있는 구면 CNN 프레임워크가 존재하는가?
• RQ2 구면에서의 이산 샘플링과 연속 대칭을 어떻게 조합하여 계산 비용이 과도하게 증가하지 않으면서도 등변성을 유지할 수 있는가?
• RQ3 DISCO 프레임워크가 SO(3)/SO(2) 몫 공간으로 컨벌루션 제약을 둘 경우, 등변성은 어느 정도 유지되는가?
• RQ4 DISCO 프레임워크는 기존 구면 CNN과 비교해 추론 비용, 메모리 사용량, 밀도 예측 작업 성능 측면에서 어떻게 다른가?
• RQ5 DISCO 기반 모델은 2D3DS, Omni-SYNTHIA, Pano3D와 같은 고해상도 구면 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• DISCO 구면 CNN은 구면 픽셀 수에 비례해 선형적으로 확장되며, SO(3) 회전 등변성을 유지한다. 이는 가장 효율적인 이전 등변 방법 대비 계산 비용을 10^9 배 감소시키고, 메모리 사용량을 10^4 배 감소시킨다.
• 구면 MNIST 벤치마크에서 DISCO-Axisymmetric는 98.6%의 테스트 정확도를 달성하여 평면 CNN(98.3%)과 비등변 이산 방법보다 뛰어난 성능을 보였다.
• 2D3DS 실내 360° 데이터셋에서 DISCO-Directional-Aug는 mIoU 45.7%와 mAcc 62.7%를 기록하여 CubeNet(45.0% mIoU)을 포함한 모든 이전 방법을 능가했다.
• Omni-SYNTHIA 실외 데이터셋에서 DISCO-Separable과 DISCO-Separable-Aug는 각각 48.3%와 49.2%의 mIoU를 기록하여 새로운 최고 기록을 수립했다.
• Pano3D 깊이 추정 벤치마크에서 DISCO-Directional은 9개 지표 중 6개를 상위 등급으로 기록했으며, 658k 파라미터(이전 최고 기술 대비 40배 적은 수치)를 사용했음에도 불구하고 표면 법선 감독을 사용하지 않았다.
• DISCO-Directional 아키텍처는 방향성 필터와 점점 더 정확해지는 SO(3) 등변성을 갖춘 방향 인식 구조 덕분에 DISCO-Axisymmetric를 능가하는 성능을 보였다.