[논문 리뷰] DeepSphere: a graph-based spherical CNN

Michaël Defferrard, Martino Milani외 2명|arXiv (Cornell University)|2020. 12. 30.

3D Shape Modeling and Analysis참고 문헌 21인용 수 17

한 줄 요약

DeepSphere는 이웃 연결성 제어가 가능한 가중 무향 그래프로 구조화된 구면을 모델링하여 계산 효율성과 회전 등변성 사이의 균형을 이루는 그래프 기반의 구면 컨볼루션 신경망을 제안한다. 실험 결과 기후, 천체물리학, 3차원 형상 작업에서 최고 성능을 보이며, 이소otropic 그래프 필터가 이론적으로는 비대칭 필터에 열등하나 실제론 충분할 수 있음을 입증한다.

ABSTRACT

Designing a convolution for a spherical neural network requires a delicate tradeoff between efficiency and rotation equivariance. DeepSphere, a method based on a graph representation of the sampled sphere, strikes a controllable balance between these two desiderata. This contribution is twofold. First, we study both theoretically and empirically how equivariance is affected by the underlying graph with respect to the number of vertices and neighbors. Second, we evaluate DeepSphere on relevant problems. Experiments show state-of-the-art performance and demonstrates the efficiency and flexibility of this formulation. Perhaps surprisingly, comparison with previous work suggests that anisotropic filters might be an unnecessary price to pay. Our code is available at https://github.com/deepsphere

연구 동기 및 목표

• 과학적 응용을 위한 구면 컨볼루션 신경망에서 계산 효율성과 회전 등변성 사이의 상충 관계를 해결한다.
• 기상 관측소나 뇌파 기록과 같이 비균일하게 샘플링된 구면 데이터에 직접 작용할 수 있는 신경망을 가능하게 한다.
• 수백만 개의 점을 포함한 대규모 데이터셋에서도 높은 성능를 유지하면서 확장 가능한 방법을 개발한다.
• 일반적으로 그래프 신경망에서 사용되는 이소otropic 그래프 필터가 더 복잡한 비대칭 구면 컨벌루션보다 성능을 뒤지지 않을 수 있는지 조사한다.
• 보간 또는 정규 격자로의 투영이 필요 없이 데이터 무결성을 유지하는 가변적이고 확장 가능한 프레임워크를 제공한다.

제안 방법

• 샘플링된 점이 정점이 되고 간선 가중치가 지오데식 거리 기반 유사도를 반영하는 가중 무향 그래프로 구면을 표현한다.
• k-최근접 이웃과 적응형 폭 t를 사용한 커널 기반의 거리 측정을 통해 그래프 라플라시안 $\mathbf{L} = \mathbf{D} - \mathbf{A}$ 를 구성한다.
• 다항식 근사 $h(\mathbf{L})\mathbf{f} = \left(\sum_{i=0}^{P} \alpha_i \mathbf{L}^i\right)\mathbf{f}$ 를 통한 스펙트럼 그래프 컨벌루션을 적용하여 효율적이고 국소적인 메시지 전달을 가능하게 한다.
• 계층적 샘플링과 풀링을 사용하여 비균일 격자에서 공간 해상도를 유지하고 다중 척도 분석을 가능하게 한다.
• 기후 데이터에서 온도 예측 및 연중 일자 회귀 분석과 같은 작업에서 MSE 손실을 사용한 RMSprop로 모델을 엔드 투 엔드로 훈련시킨다.
• 이soviance를 이웃 수 $k$ 로 제어하여 성능와 계산 비용 사이의 조정 가능한 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 구축 시 이웃 수 $k$ 는 회전 등변성과 모델 성능에 어떤 영향을 미치는가?
• RQ2 이론적으로 비대칭 필터에 열등한 이소otropic 그래프 필터가 비록 그렇더라도 구면 학습 작업에서 최고 성능를 달성할 수 있는가?
• RQ3 비균일 샘플링(예: 기상 관측소)은 등변성을 얼마나 떨어뜨리며, 그래프 기반 방법은 정규화되거나 투영된 대안들보다 여전히 승리할 수 있는가?
• RQ4 정확도와 확장성 측면에서 DeepSphere는 구면 조화 함수 기반 및 이코사헤드론 투영 기반 방법과 비교해 어떻게 성능를 내는가?
• RQ5 비균일한 구면 샘플링에 대한 그래프 기반 컨벌루션은 데이터 보간 또는 정규 격자로의 투영이 필요 없이 제거할 수 있는가?

주요 결과

• 밀도 있는 온도 회귀에서 다항식 차수 $P=4$ 를 $P=0$ 으로 대체함으로써 MSE 가 10.88 에서 8.20 으로 감소하여 이웃 집합의 집합이 성능 향상에 기여함을 보여준다.
• 온도 데이터에서 연중 일자 예측 작업에서 $P=4$ 를 사용할 경우 R² 가 0.882 에서 0.969 로 향상되어 공간적 인덕티브 바이어스의 이점이 입증된다.
• precipitation 기반 연중 일자 예측에서 $P=4$ 는 R² = 0.597 을 달성한 반면 $P=0$ 일 경우 -0.980 으로 나타나 복잡한 패턴 예측에 공간적 구조가 필수적임을 시사한다.
• 비대칭 필터를 포함하지 않음에도 불구하고 DeepSphere는 3차원 형상 및 기후 데이터에서 최고 성능를 기록하여 필터의 이소otropic성에 대한 기존 가정을 도전한다.
• 정점 수에 대해 선형적으로 확장 가능하여 약 10,000개의 기상 관측소를 포함한 데이터셋에서도 효율적인 훈련이 가능하다.
• 특히 비균일한 샘플링(예: 북미 지역에 집중된 기상 관측소)에서도 그래프 기반 접근이 정규화되거나 투영된 대안들보다 핵심 벤치마크에서 뛰어난 성능를 유지한다.