[논문 리뷰] Spin-Weighted Spherical CNNs

Carlos Esteves, Ameesh Makadia외 1명|arXiv (Cornell University)|2020. 06. 18.

Geophysics and Gravity Measurements참고 문헌 51인용 수 10

한 줄 요약

이 논문은 스핀-중량을 가진 구형 함수를 활용하여 구 위에서 효율적이고 이방성 컨볼루션을 수행할 수 있는 새로운 구형 CNN 아키텍처인 스핀-중량 구형 CNN(SWSCNN)을 소개한다. 이는 SO(3)로의 업라이팅 없이도 SO(3)-동치성을 달성한다. 이 방법은 분류, 3D 형상 분석, 의미적 세그멘테이션 작업에서 이전의 구형 CNN들을 능가하면서도 계산 효율성을 유지하고 벡터 장의 동치 처리를 가능하게 한다.

ABSTRACT

Learning equivariant representations is a promising way to reduce sample and model complexity and improve the generalization performance of deep neural networks. The spherical CNNs are successful examples, producing SO(3)-equivariant representations of spherical inputs. There are two main types of spherical CNNs. The first type lifts the inputs to functions on the rotation group SO(3) and applies convolutions on the group, which are computationally expensive since SO(3) has one extra dimension. The second type applies convolutions directly on the sphere, which are limited to zonal (isotropic) filters, and thus have limited expressivity. In this paper, we present a new type of spherical CNN that allows anisotropic filters in an efficient way, without ever leaving the spherical domain. The key idea is to consider spin-weighted spherical functions, which were introduced in physics in the study of gravitational waves. These are complex-valued functions on the sphere whose phases change upon rotation. We define a convolution between spin-weighted functions and build a CNN based on it. The spin-weighted functions can also be interpreted as spherical vector fields, allowing applications to tasks where the inputs or outputs are vector fields. Experiments show that our method outperforms previous methods on tasks like classification of spherical images, classification of 3D shapes and semantic segmentation of spherical panoramas.

연구 동기 및 목표

• SO(3)로의 업라이팅 없이도 이방성 필터를 효율적으로 구현함으로써 표현력과 계산 비용 사이의 상충관계를 해결하기 위해.
• 벡터 장을 스핀-중량 구형 함수로 모델링하여 구형 CNN을 벡터 장의 동치 처리가 가능한 방식으로 확장하기 위해.
• 표면 법선을 스핀-중량 채널로 인코딩하여 3D 형상 분석에서 표현의 정밀도를 향상시키기 위해.
• 최종 레이어에서 동치성의 선택적 붕괴를 통해 정렬된 입력과 기울인 입력 모두에서 높은 성능를 유지하면서도 전역 SO(3) 동치성을 유지하기 위해.

제안 방법

• 스핀-중량 구형 함수(SWSFs)를 도입한다. 이는 구 위의 복소수 함수로, 회전에 따라 위상 이동을 겪으며, 벡터 장 모델링을 가능하게 한다.
• 스핀-중량 구형 컨볼루션(SWSConv)을 정의한다. 이는 구 위에서 직접 작동하며, SWSFT(스핀-중량 구형 푸리에 변환)를 사용한 스펙트럼 도메인 계산을 통해 SO(3) 동치성을 유지한다.
• 다양한 스핀 무게(s=0은 스칼라, s=1은 탄성 벡터 장)를 가진 SWSFs의 다중 채널을 특징 및 필터로 사용하는 네트워크 아키텍처를 구현한다.
• 비선형성, 배치 정규화, 풀링 레이어를 스핀-중량 특징에 맞게 수정하여 동치성 유지와 딥 러닝을 가능하게 한다.
• 전역 동치성이 필요한 작업에서는 전체 SWSConv 레이어를 사용하고, 정렬된 입력에서는 최종 레이어를 표준 2D 컨볼루션으로 교체함으로써 동치성을 깨는 Ours + BE 방식을 적용한다. 이는 정확도 향상을 위해 필요하다.
• SWSConv의 스펙트럼 계산은 밴드리미티드 함수에 대해 정확하며, 역 SWSFT와 스펙트럼 도메인 내 곱셈을 통해 수행된다.

실험 결과

연구 질문

• RQ1 SO(3)로의 업라이팅 없이도 구형 CNN에서 이방성 필터를 효율적으로 구현할 수 있는가, 그리고 SO(3) 동치성이 유지되는가?
• RQ2 스핀-중량 구형 함수는 스칼라만 다루는 이전의 구형 CNN의 한계를 넘어 벡터 장의 동치 처리를 가능하게 하는가?
• RQ3 스핀-중량 특징의 사용이 표면 법선의 고유한 인코딩을 가능하게 하여 3D 형상 표현을 향상시키는가?
• RQ4 모델은 임의의 회전 하에서도 강력한 일반화 성능를 유지하면서도 정렬된 입력에 대해서는 높은 성능를 유지할 수 있는가?

주요 결과

• SWSCNN 모델은 구형 MNIST(SVFMNIST) 벤치마크에서 최고 성능를 기록했으며, 이는 스칼라에서의 예측, 벡터 장에서의 분류, 스칼라에서의 예측 등에서 이전 방법들을 능가한다.
• ModelNet40에서 정렬된 설정에서는 94.1%의 정확도를 기록했고, 기울인 설정에서는 91.3%를 기록하여 이전의 구형 CNN들을 능가했으며, 60장의 입력 영상을 필요로 하는 EMVN에 근접한 성능를 보였다.
• Stanford 2D3DS 데이터셋에서 의미적 세그멘테이션 작업에서는 55.6%의 정확도와 41.9%의 mIoU를 기록했으며, 비동치 기반 최고 성능 모델과 동일한 성능를 보였고, 이전의 동치 기반 방법들을 능가했다.
• 추가 채널로 법선 정보(s=1)를 포함한 경우, 정확도는 58.7%, mIoU는 43.4%로 향상되어 스핀-중량 표현이 기하학적 특징에 유리함을 입증했다.
• Ours + BE 변형은 정렬된 입력에서 58.7%의 정확도를 기록하여, 전역 동치성이 항상 필요하지 않으며 특정 설정에서 성능 향상을 위해 동치성을 완화할 수 있음을 확인했다.
• SWSFT를 통한 정확한 컨볼루션 계산을 통해, 밴드리미티드 신호에 대해 이론적으로 SO(3) 동치성이 보장되며 근사 오류 없이 작동한다.