[논문 리뷰] Low Dimensional Invariant Embeddings for Universal Geometric Learning

Nadav Dym, Steven J. Gortler|arXiv (Cornell University)|2022. 05. 05.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 기하학적 딥러닝을 위한 저차원 분리 불변량을 구성하기 위해 연속적인 가족에서 무작위로 $2D+1$개의 준대수적 불변량을 선택하는 방법을 제안한다. 기존 방법에 비해 훨씬 적은 특징 수로 보편적 근사가 가능하다. 주요 기여는 $D$차원 영역에서 군 작용 하에 전체 궤도 분리를 위해 단지 $2D+1$개의 불변량이 충분하다는 것을 증명한 것이다. 이는 계산 비용을 크게 줄이면서도 이론적으로 보편성을 유지한다.

ABSTRACT

This paper studies separating invariants: mappings on $D$ dimensional domains which are invariant to an appropriate group action, and which separate orbits. The motivation for this study comes from the usefulness of separating invariants in proving universality of equivariant neural network architectures. We observe that in several cases the cardinality of separating invariants proposed in the machine learning literature is much larger than the dimension $D$. As a result, the theoretical universal constructions based on these separating invariants is unrealistically large. Our goal in this paper is to resolve this issue. We show that when a continuous family of semi-algebraic separating invariants is available, separation can be obtained by randomly selecting $2D+1 $ of these invariants. We apply this methodology to obtain an efficient scheme for computing separating invariants for several classical group actions which have been studied in the invariant learning literature. Examples include matrix multiplication actions on point clouds by permutations, rotations, and various other linear groups. Often the requirement of invariant separation is relaxed and only generic separation is required. In this case, we show that only $D+1$ invariants are required. More importantly, generic invariants are often significantly easier to compute, as we illustrate by discussing generic and full separation for weighted graphs. Finally we outline an approach for proving that separating invariants can be constructed also when the random parameters have finite precision.

연구 동기 및 목표

• 기존 보편적 에퀴브리언트 네트워크 구축 방식에서 너무 많은 분리 불변량이 요구되는 문제를 해결하기 위해.
• 연속적인 군 작용 하에서 $D$차원 영역에서 궤도를 분리하기 위해 단지 $2D+1$개의 불변량이 충분하다는 것을 보여주기 위해.
• 순열, 회전, 선형군과 같은 전통적 군 작용에 대해 분리 불변량을 구성하는 효율적이고 계산 가능성이 높은 방법을 제공하기 위해.
• 전체 분리와 일반 분리 사이의 상호 교환 관계를 탐색하여, 일반 분리는 $D+1$개의 불변량으로도 충분하며, 이는 일반적으로 계산이 더 쉬운 것으로 밝혀졌음을 보여주기 위해.
• 유한 정밀도를 가진 무작위 매개변수를 사용한 불변량 학습에서 보편성 증명을 위한 기초를 마련하기 위해.

제안 방법

• 연속적인 준대수적 분리 불변량 가족을 활용하여, 무작위로 선택된 $2D+1$개의 불변량을 사용해 임베딩을 구성한다.
• 임베딩 $\phi(x) = (\phi_1(x), \dots, \phi_m(x))$를 적용하며, 여기서 $m = 2D+1$이며, 각 $\phi_i$는 준대수적 불변량 함수이다.
• 이론적 결과에 따르면, 이러한 무작위 선택이 궤도 분리를 거의 확실히 보장함을 증명하며, 이는 교차성과 차원 분석에 기반한다.
• 점 클러스터에 작용하는 순열, 회전, 선형군 등의 군 작용에 대해 방법을 적용한다.
• 일반 분리를 위해 $D+1$개의 불변량만 사용하며, 이는 계산이 더 쉬우며 데이터 분포에서 특이 집합의 측도가 낮을 경우 충분하다.
• 내재 차원 $D$가 낮은 합성 점 클러스터를 사용해 경험적으로 접근을 검증하며, $m = 2D+1$일 때 높은 테스트 정확도를 보였다.

실험 결과

연구 질문

• RQ1 보편적 기하학적 학습을 위해 필요한 분리 불변량의 수를 다항식 생성자 집합의 크기 이하로 줄일 수 있는가?
• RQ2 연속적인 가정에서 준대수적 불변량의 가족에서 무작위로 선택한 $2D+1$개의 불변량만으로도 전체 궤도 분리를 달성할 수 있는가?
• RQ3 실제로 $D+1$개의 불변량을 사용한 일반 분리와 $2D+1$개의 불변량을 사용한 전체 분리 간의 정확도와 계산 비용을 비교하면 어떻게 되는가?
• RQ4 군 작용이나 데이터 분포의 변형에 대한 결과 불변량 임베딩의 안정성은 어떠한가?
• RQ5 이론적 프레임워크를 실세계 구현에서 유한 정밀도를 가진 무작위 매개변수로 확장할 수 있는가?

주요 결과

• D=1일 때, $m=3$개의 불변량을 가진 임베딩이 이진 분류 작업에서 98%의 테스트 정확도를 달성하여, 높은 외재 차원에도 불구하고 효과적인 분리를 보여주었다.
• 실험 표의 대각선 요소들은 $m = 2D+1$ 임베딩이 높은 정확도를 달성함을 확인하며, 이는 단사성에 대한 이론적 보장을 검증한다.
• $m > 2D+1$개의 불변량을 사용할 경우 정확도가 더욱 향상되며, 딥러닝에서의 과다 매개변수화의 이점과 일치한다.
• 일반 분리는 특이 집합의 측도가 데이터 분포에서 낮을 경우 계산 가능성이 높고 충분히 충분하다.
• 예를 들어, $3\times1024$ 점 클러스터에 대해 기존의 멱합 다항식 기반 방법에서 1억 8천만 개 이상의 불변량이 필요로 했지만, 본 방법은 단지 2048개의 불변량으로 줄여, 수십만 배 수준의 감소를 이뤘다.
• 이 방법은 기존의 불변량 이론적 구성 방식에 비해 훨씬 낮은 계산 복잡도로 증명 가능하고 보편적인 불변량 학습을 가능하게 한다.