[논문 리뷰] Scattering Networks on the Sphere for Scalable and Rotationally Equivariant Spherical CNNs

Jason D. McEwen, Christopher G. R. Wallis외 1명|arXiv (Cornell University)|2021. 02. 04.

Seismic Imaging and Inversion Techniques인용 수 8

한 줄 요약

이 논문은 파동장치 기반 산란 변환을 구면으로 확장하여 고해상도 구면 신호를 위한 확장 가능하고 회전 등변성 표현인 구면 산란 네트워크를 도입한다. 일반화된 구면 CNN의 초깃층으로 통합되어 효율적이고 안정적이며 불변하는 특징 추출을 가능하게 하며, 360도 이미지나 우주 마이크로파 배경 맵과 같은 고해상도 데이터에서 성능을 크게 향상시킨다.

ABSTRACT

Convolutional neural networks (CNNs) constructed natively on the sphere have been developed recently and shown to be highly effective for the analysis of spherical data. While an efficient framework has been formulated, spherical CNNs are nevertheless highly computationally demanding; typically they cannot scale beyond spherical signals of thousands of pixels. We develop scattering networks constructed natively on the sphere that provide a powerful representational space for spherical data. Spherical scattering networks are computationally scalable and exhibit rotational equivariance, while their representational space is invariant to isometries and provides efficient and stable signal representations. By integrating scattering networks as an additional type of layer in the generalized spherical CNN framework, we show how they can be leveraged to scale spherical CNNs to the high-resolution data typical of many practical applications, with spherical signals of many tens of megapixels and beyond.

연구 동기 및 목표

• 고해상도(예: 수백만 픽셀)에서 기존의 회전 등변성 있는 구면 CNN의 계산 비용 문제를 해결한다.
• 等변성, 등거리성에 대해 안정적이고 모든 주파수 성분에 민감한 구면 신호의 표현 공간을 개발한다.
• 일반화된 구면 CNN 프레임워크에 확장 가능하고 학습되지 않은 층을 통합하여 고해상도 처리를 가능하게 한다.
• 구면의 조화 구조를 활용하여 효율적이고 이론적으로 탄탄한 신호 표현을 설계한다.
• 산란 네트워크가 구면 CNN을 확장하면서도 회전 등변성을 유지하는 데 효과적인 초깃층으로 기능할 수 있음을 입증한다.

제안 방법

• 유클리드 산란 네트워크를 영감으로 삼아 스케일 분할된 구면 웨이블릿과 절대값 비선형성을 사용하여 구면 산란 네트워크를 구성한다.
• 구면 조화 변환과 빠른 알고리즘을 활용하여 구면에서 웨이블릿 변환을 효율적으로 계산한다.
• 연속된 웨이블릿 변환을 적용한 후 점별 절대값을 취하여 안정적이고 불변하는 계수를 생성한다.
• 일반화된 구면 CNN 프레임워크에 고정된, 학습되지 않은 초깃층으로 산란 네트워크를 통합한다.
• 구면 조화 기저를 활용하여 회전 등변성을 유지하고 구면의 연속적 대칭성을 활용한다.
• 평가를 위해 최적화되지 않은 단일 스레드 구현을 사용하며, 산란은 학습 전에 한 번만 계산된다.

실험 결과

연구 질문

• RQ1 구면에서 산란 네트워크는 고해상도 구면 신호에 대해 확장 가능하고, 회전 등변성 있으며 안정적인 표현을 제공할 수 있는가?
• RQ2 하이브리드 구면 CNN의 초깃층으로서 구면 산란 네트워크는 고해상도 데이터에서의 성능 향상에 얼마나 효과적인가?
• RQ3 구면 산란 네트워크는 등거리성에 대해 얼마나 잘 유지되는가, 미세변형에 대해 안정적인가, 동시에 고주파 성분에 민감한가?
• RQ4 구면 산란 네트워크는 360도 이미지나 CMB 맵처럼 수백만 픽셀의 신호로 확장 가능한가?
• RQ5 산란 네트워크의 통합은 하류 작업에서 수렴 속도와 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• $ L = 256 $일 때, 구면 산란 네트워크는 도전적인 NR/R(회전된 테스트) 시나리오에서 MNIST 분류 정확도를 산란 없이 75.12%에서 산란 적용 시 96.02%로 향상시켰다.
• $ L = 1024 $일 때 CMB 분류에서 산란 네트워크를 적용한 모델은 95.3%의 정확도를 기록했고, 산란 없이 53.1%에 그쳤다. 이는 약간 비정규적인 신호에 대해서도 효과적임을 보여준다.
• 산란 네트워크 평가는 $ L = 1024 $에서 두 분 이내에 완료되어 고해상도에서도 실현 가능함을 시사하며, 한 번만 계산하면 된다.
• 산란 네트워크는 고주파 성분을 저주파 계수로 혼합하여 이후 CNN 레이어가 세부 정보를 효과적으로 포착할 수 있도록 했다.
• 산란 층이 있는 모델와 없는 모델 간 학습 수렴 속도에 유의미한 차이가 관찰되지 않았다.
• 산란 네트워크가 제공하는 표현 공간은 이론적으로 예측한 바와 같이 특정 척도 이하에서는 등거리성에 대해 불변하고, 미세변형에 대해 안정적이었다.