[논문 리뷰] Geometric Wavelet Scattering Networks on Compact Riemannian Manifolds

Michael Perlmutter, Feng Gao외 2명|PubMed|2019. 05. 24.

3D Shape Modeling and Analysis참고 문헌 57인용 수 4

한 줄 요약

이 논문은 컴act Riemannian 다양체를 위한 기하학적 웨이블릿 스캐터링 네트워크를 제안하며, 라플라스-베르트라미 연산자를 통한 스펙트럼 필터링을 사용해 유클리드 스캐터링 변환을 일반화한다. 등장변형 불변성과 미분형태 안정성을 확보하며, 구면 MNIST(95% 정확도) 및 FAUST 자세/개인 분류(95% 및 76% 정확도)에서 최신 기술 수준의 성능을 보이며, 그래프 기반 스캐터링 및 기준 특징보다 뛰어나다.

ABSTRACT

The Euclidean scattering transform was introduced nearly a decade ago to improve the mathematical understanding of convolutional neural networks. Inspired by recent interest in geometric deep learning, which aims to generalize convolutional neural networks to manifold and graph-structured domains, we define a geometric scattering transform on manifolds. Similar to the Euclidean scattering transform, the geometric scattering transform is based on a cascade of wavelet filters and pointwise nonlinearities. It is invariant to local isometries and stable to certain types of diffeomorphisms. Empirical results demonstrate its utility on several geometric learning tasks. Our results generalize the deformation stability and local translation invariance of Euclidean scattering, and demonstrate the importance of linking the used filter structures to the underlying geometry of the data.

연구 동기 및 목표

• 유클리드 스캐터링 변환을 컴 pact Riemannian 다양체로 확장하여 기하학적 딥러닝 모델의 수학적 분석을 가능하게 하기.
• 비유클리드 데이터 영역에서 국소 등장변형에 대해 불변이고 미분형태에 대해 안정적인 스캐터링 프레임워크를 개발하기.
• 분류 및 특징 추출과 같은 다양체 기반 학습 작업에서 기하학적 인식 필터 설계의 유용성을 입증하기.
• 기존 그래프 스캐터링 접근 방식을 연속적인 Riemannian 기하학 프레임워크에 통합하고 일반화하기.

제안 방법

• 라플라스-베르트라미 연산자의 고유함수를 사용해 다양체 위에서의 컨볼루션을 일반화하는 스펙트럼 필터링 연산자를 구성한다.
• 웨이블릿 필터와 점별 비선형성(복소수 모듈러스)의 캐스케이드를 정의하여 기하학적 스캐터링 변환을 구축한다.
• 스펙트럼 분해를 통해 국소 등장변형에 대해 불변이고 소규모 미분형태에 대해 리프시츠 안정성을 확보하는 비확장 변환을 구현한다.
• 다양체 분류와 같은 전역 불변성이 필요한 작업을 위해 전역 기하 스캐터링 변환 $\overline{S}^L f$ 를 사용한다.
• 엔드 투 엔드 학습 없이 다양체의 내재 기하학에서 유도된 사전 정의된 기하학적 웨이블릿을 사용한다.
• 5중 교차 검증과 RBF 커널 SVM을 사용해 구면 MNIST 및 FAUST 데이터셋의 분류 성능을 평가한다.

실험 결과

연구 질문

• RQ1 유클리드 공간에서의 스캐터링 변환을 컴 pact Riemannian 다양체로 일반화할 수 있을까? 이때 등장변형 불변성과 안정성 성질을 유지할 수 있는가?
• RQ2 그래프 기반 또는 유클리드 접근 방식과 비교해, 다양체 특화 웨이블릿을 사용할 경우 기하학적 학습 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 기하학적 스캐터링 변환이 비유클리드 데이터에서 등장변형에 대해 어느 정도 불변성과 미분형태에 대해 안정성을 확보하는가?
• RQ4 소규모 데이터셋에서 정확도 및 하이퍼파rameter 민감도 측면에서 기하학적 스캐터링 프레임워크는 완전히 학습된 기하학적 딥러닝 모델과 어떻게 비교되는가?
• RQ5 기하학적 스캐터링 특징는 다양체 분류 작업을 위한 통합적이고 강력한 표현으로 사용될 수 있는가?

주요 결과

• 기하학적 웨이블릿 스캐터링 변환은 구면 MNIST 데이터셋에서 95%의 분류 정확도를 달성하며, 하르 웨이블릿 스캐터링(90%)을 능가하고 S2CNN과 같은 학습 모델과도 동등하거나 슈퍼어리어하다.
• FAUST 데이터셋에서 기하학적 스캐터링은 자세 분류에서 95%의 정확도, 개인 분류에서 76%의 정확도를 기록하며, 기준 SHOT 특징(92% 및 61%)과 그래프 스캐터링(58%)을 크게 앞서며 성능을 뛰어나게 한다.
• 이 변환은 국소 등장변형에 대해 증명 가능하게 불변이며, 소규모 미분형태에 대해 리프시츠 안정성을 확보하여 유클리드 스캐터링 변환의 핵심 이론적 성질을 일반화한다.
• 기하학적 인식 웨이블릿의 사용은 그래프 기반 스캐터링과 비교해 향상된 성능을 이끌어내며, 필터 설계에 다양체의 구조를 통합하는 것이 중요함을 시사한다.
• 네트워크 깊이 $L$에 대한 하이퍼파ram터 튜닝은 학습 모델보다 간단하여 기하학적 스캐터링이 FAUST와 같은 소규모 데이터셋에서 특히 효과적이다.
• 이 프레임워크는 임의의 차원 $d$를 가진 다양체로 일반화 가능하여 향후 고차원 기하학적 데이터에의 적용을 가능하게 한다.