[논문 리뷰] Steerable Partial Differential Operators for Equivariant Neural Networks

Erik Jenner, Maurice Weiler|arXiv (Cornell University)|2021. 06. 18.

Model Reduction and Neural Networks참고 문헌 27인용 수 5

한 줄 요약

이 논문은 신경망의 동치층으로서의 기울일 수 있는 편미분 연산자(PDO)를 소개하며, 임의의 군에 대해 정확한 대칭성 보존을 가능하게 한다. O(2)와 같은 주요 군에 대해 G-기울임가능성 조건을 유도하고 이를 해결함으로써, 분포 기반 프레임워크 아래에서 컨벌루션과 미분 연산자를 통합한다. 이는 E2CNN에 개방소스 통합과 함께 효율적인 이산화를 통해 회전 동치 작업에서 최고 성능을 보이며, 일반화된 대칭성 보존을 위한 깊이 학습의 향상된 방법을 제시한다.

ABSTRACT

Recent work in equivariant deep learning bears strong similarities to physics. Fields over a base space are fundamental entities in both subjects, as are equivariant maps between these fields. In deep learning, however, these maps are usually defined by convolutions with a kernel, whereas they are partial differential operators (PDOs) in physics. Developing the theory of equivariant PDOs in the context of deep learning could bring these subjects even closer together and lead to a stronger flow of ideas. In this work, we derive a $G$-steerability constraint that completely characterizes when a PDO between feature vector fields is equivariant, for arbitrary symmetry groups $G$. We then fully solve this constraint for several important groups. We use our solutions as equivariant drop-in replacements for convolutional layers and benchmark them in that role. Finally, we develop a framework for equivariant maps based on Schwartz distributions that unifies classical convolutions and differential operators and gives insight about the relation between the two.

연구 동기 및 목표

• 딥러닝에서 임의의 군 G에 대해 대칭성을 보존하는 일반적인 동치 편미분 연산자(PDO) 이론을 개발하는 것.
• 스웨츠 분포를 사용한 영역 기반 프레임워크를 통해 이동 동치성, 선형성, 연속성을 만족하는 맵으로서 컨벌루션 커널과 미분 연산자를 통합하는 것.
• 중요한 대칭군, 특히 O(2)의 부분군을 포함한 군에 대해 동치 PDO의 완전한 기저를 계산하는 실용적 방법을 제공하는 것.
• 다양한 작업에서 표준 기울일 수 있는 CNN과의 비교를 통해 기울일 수 있는 PDO의 효과성과 효율성을 입증하는 것.
• 기울일 수 있는 PDO를 E2CNN 라이브러리에 확장하여 구현하고 공개함으로써 동치 딥러닝 분야에서의 광범위한 채택을 가능하게 하는 것.

제안 방법

• 주어진 군 G에 대해 두 특징 벡터 장 사이의 PDO가 동치가 되기 위한 조건을 완전히 기술하는 G-기울임가능성 조건을 유도하는 것.
• C_n 및 O(2)와 같은 주요 군에 대해 G-기울임가능성 조건을 명시적으로 해결하여 동치 PDO의 닫힌 형태 표현식을 도출하는 것.
• 가우시안 및 RBF-FD 방법을 사용하여 PDO를 스텐실로 이산화함으로써 신경망 내에서의 수치적 구현을 가능하게 하는 것.
• 컨벌루션과 미분 연산자를 동치 맵의 특수한 경우로 포함하는 분포 기반 프레임워크를 개발하는 것.
• 이론을 코드로 구현하고 E2CNN 라이브러리에 통합하여 동일한 모델 내에서 기울일 수 있는 커널과 PDO를 함께 사용할 수 있도록 하는 것.
• 표준화된 아키텍처와 하이퍼파rameter를 사용하여 MNIST-rot, STL-10 및 유체 흐름 예측 작업에서 성능을 벤치마킹하는 것.

실험 결과

연구 질문

• RQ1 주어진 대칭군 G에 대해 편미분 연산자가 동치가 되기 위해 만족해야 할 조건은 무엇인가?
• RQ2 일반적인 대칭군에 대해 G-동치 PDO의 공간을 체계적으로 매개변수화하고 계산할 수 있는 방법은 무엇인가?
• RQ3 기울일 수 있는 PDO는 표준 기울일 수 있는 CNN에 비해 정확도와 파라미터 효율성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 이산화 방법(예: 가우시안, RBF-FD)은 기울일 수 있는 PDO의 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 일관된 동치 원칙 아래서 컨벌루션 커널과 미분 연산자를 하나의 수학적 프레임워크로 통합할 수 있는가?

주요 결과

• 저자들은 임의의 대칭군에 대해 특징 장 사이의 이동 동치 PDO를 완전히 기술하는 G-기울임가능성 조건을 유도하였다.
• O(2)의 모든 부분군에 대해 동치 PDO의 명시적 기저를 계산하여 2차원 동치 네트워크에서 실용적인 구현을 가능하게 하였다.
• 기울일 수 있는 PDO는 MNIST-rot에서 최고 성능을 기록하였으며, 동일한 파라미터 수로 표준 기울일 수 있는 CNN에 비해 정확도가 동일하거나 이를 초월하였다.
• RBF-FD 이산화 방법은 고차수 연산자에 대해 특히 더 안정적이고 정확한 스텐실을 제공하여 가우시안 기반 이산화보다 우수한 성능을 보였다.
• 분포 기반 프레임워크는 컨벌루션과 미분 연산자를 특수한 경우로 포함하며, 이는 특징 장 사이의 모든 이동 동치 선형 연속 맵을 포괄한다는 것을 증명하였다.
• 기울일 수 있는 PDO의 구현은 E2CNN 라이브러리에 통합되어 기존의 기울일 수 있는 CNN 및 하이브리드 아키텍처와의 원활한 통합을 가능하게 하였다.