[논문 리뷰] Universal Approximation Theorem for Equivariant Maps by Group CNNs

Wataru Kumagai, Akiyoshi Sannai|arXiv (Cornell University)|2020. 12. 27.

Neural Networks and Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 군 순열성 맵을 위한 군 컨volution 신경망(G-CNN)을 사용하여 군 순열성 맵에 대한 통합된 보편적 근사 정리(UT)를 수립한다. 두 층의 군 CNN이 무한 차원 함수 공간 간의 G-순열성 리프시츠 맵을 근사할 수 있음을 증명하며, 비콤팩트 군에 대해서도 성립한다. 이는 맵의 생성자를 완전히 연결된 신경망(FNN)을 통해 근사함으로써 문제를 축소시킴으로써 달성된다. 주요 기여는 연속적이며 비콤팩트 군 작용에 대해 유효한 일반적 프레임워크를 제공하며, 유클리드 군과 로렌츠 군을 포함한다. 이는 3D 포인트 클라우드와 NLP 임베딩에 이론적 보장을 제공한다.

ABSTRACT

Group symmetry is inherent in a wide variety of data distributions. Data processing that preserves symmetry is described as an equivariant map and often effective in achieving high performance. Convolutional neural networks (CNNs) have been known as models with equivariance and shown to approximate equivariant maps for some specific groups. However, universal approximation theorems for CNNs have been separately derived with individual techniques according to each group and setting. This paper provides a unified method to obtain universal approximation theorems for equivariant maps by CNNs in various settings. As its significant advantage, we can handle non-linear equivariant maps between infinite-dimensional spaces for non-compact groups.

연구 동기 및 목표

• 다양한 대칭 군에 걸쳐 기존의 보편적 근사 정리를 통합하기 위한 목표.
• 비콤팩트 군과 무한 차원 함수 공간으로 보편적 근사 정리를 확장하기 위한 목표.
• 3D 데이터 처리 및 하이퍼볼릭 기하학을 갖는 NLP에서 군 CNN의 이론적 기반을 구축하기 위한 목표.
• 순열성 딥 러닝에서 유한 차원 표현과 기능적 표현 간 격차를 메우기 위한 목표.

제안 방법

• ℝᵈ 및 ℝᵈ′ 내의 도메인 𝒮와 𝒯에 대해 함수 공간 C₀(𝒮)와 C₀(𝒯) 사이의 순열성 맵을 공식화한다.
• 군 순열성 맵이 생성자에 의해 유일하게 결정됨을 보여주는 전환 정리(정리 9)를 도입하여 FNN 근사로의 축소를 가능하게 한다.
• 무한 차원 비콤팩트 설정에서 두 층의 FNN이 리프시츠 맵에 대해 보편적 근사를 보이는 새로운 보편적 근사 정리(정리 13)를 증명한다.
• 정리 13과 정리 9를 조합하여 군 CNN에 대한 보편적 근사 결과(정리 14)를 도출하며, 군 작용과 측도에 대해 약한 조건을 가진다.
• SE(d), E(d), SO⁺(d,1)와 같은 구체적 군에 프레임워크를 적용하여 3D 운동, 포인트 클라우드, 하이퍼볼릭 NLP 표현에의 적용 가능성을 보여준다.
• 레베그 측도와 컴팩트 부분집합을 사용하여 ε 정밀도 내에서 균일한 근사를 보장한다.

실험 결과

연구 질문

• RQ1 다양한 대칭 군, 비콤팩트 군까지 포함하여 G-순열성 맵에 대한 통합된 이론적 프레임워크를 개발할 수 있는가?
• RQ2 비유계 도메인을 가진 무한 차원 함수 공간으로 보편적 근사 정리를 확장할 수 있는가?
• RQ3 완전히 연결된 신경망(FNN)을 통해 G-순열성 맵의 생성자를 어떻게 근사할 수 있는가? 이를 통해 군 CNN을 구성할 수 있는가?
• RQ4 유클리드 대칭성을 갖는 3D 데이터나 하이퍼볼릭 기하학을 갖는 NLP 데이터 처리에서 군 CNN의 이론적 보장은 무엇인가?
• RQ5 이 프레임워크는 ℝᵈ를 초월한 비유클리드 도메인으로 확장될 수 있는가?

주요 결과

• 비콤팩트 입력 도메인을 가진 무한 차원 함수 공간 간의 G-순열성 리프시츠 맵에 대해 보편적 근사 정리가 수립된다.
• 군 작용과 측도에 대한 약한 조건 하에서, 두 층의 군 CNN이 컴팩트 부분집합에서 임의의 정밀도로 어떤 G-순열성 맵이라도 근사할 수 있음을 증명한다.
• 이전 결과가 콤팩트 군에 국한되어 있음에도 불구하고, 유클리드 군 E(d)와 특수 유클리드 군 SE(d)와 같은 비콤팩트 군에 대해서도 적용 가능하다.
• 이 방법은 3D 데이터 처리, 특히 포인트 클라우드와 3D 운동 모델링에서 군 CNN의 이론적 정당성을 제공한다.
• 상반평면에서 SO⁺(d,1)의 작용을 통해 NLP 응용을 지원하며, 하이퍼볼릭 단어 임베딩에 관련된다.
• 증명은 무한 차원 비콤팩트 설정에서 FNN에 대한 새로운 보편적 근사 정리에 기반하며, 이는 핵심적인 기술적 진전이다.