[논문 리뷰] On Universal Equivariant Set Networks

Nimrod Segol, Yaron Lipman|arXiv (Cornell University)|2019. 10. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 6

한 줄 요약

이 논문은 PointNet이 등치변환에 대해 보편적이지 않음을 증명하지만, 단일 선형 전송층(즉, PointNetST)을 추가하면 모든 연속적인 순열 등치변환 함수에 대해 보편적으로 근사가 가능하다. 주요 이론적 기여는 다항층의 순열 등치변환 성질을 다중-대칭 다항식인 거듭제곱 합 다항식을 사용해 특성화한 것으로, 이는 증명을 가능하게 하고 PointNetST이 알려진 최소한의 보편적인 등치변환 세트 신경망임을 입증한다.

ABSTRACT

Using deep neural networks that are either invariant or equivariant to permutations in order to learn functions on unordered sets has become prevalent. The most popular, basic models are DeepSets [Zaheer et al. 2017] and PointNet [Qi et al. 2017]. While known to be universal for approximating invariant functions, DeepSets and PointNet are not known to be universal when approximating \emph{equivariant} set functions. On the other hand, several recent equivariant set architectures have been proven equivariant universal [Sannai et al. 2019], [Keriven et al. 2019], however these models either use layers that are not permutation equivariant (in the standard sense) and/or use higher order tensor variables which are less practical. There is, therefore, a gap in understanding the universality of popular equivariant set models versus theoretical ones. In this paper we close this gap by proving that: (i) PointNet is not equivariant universal; and (ii) adding a single linear transmission layer makes PointNet universal. We call this architecture PointNetST and argue it is the simplest permutation equivariant universal model known to date. Another consequence is that DeepSets is universal, and also PointNetSeg, a popular point cloud segmentation network (used eg, in [Qi et al. 2017]) is universal. The key theoretical tool used to prove the above results is an explicit characterization of all permutation equivariant polynomial layers. Lastly, we provide numerical experiments validating the theoretical results and comparing different permutation equivariant models.

연구 동기 및 목표

• 실제로 사용되는 순열 등치변환 신경망(예: PointNet)과 이론적으로 보편적인 모델 사이의 격차를 해결하기 위해.
• PointNet 및 관련 아키텍처가 연속적인 순열 등치변환 함수를 보편적으로 근사할 수 있는지 여부를 규명하기 위해.
• 모든 다항층이 순열 등치변환 성질을 갖는 조건을 특성화하여 보편 근사의 이론적 분석을 가능하게 하기 위해.
• 등치변환 세트 함수에 대해 보편적인 최소한의 실용적 아키텍처를 확립하기 위해.

제안 방법

• 표준 PointNet에 단일 선형 전송층(X ↦ 11ᵀX)을 추가하여 PointNetST을 제안한다.
• 거듭제곱 합 다중-대칭 다항식을 사용하여 순열 등치변환 다항사상의 명시적 특성화를 도출한다.
• 모든 등치변환 다항식을 원소별 함수와 단일 선형 전송층의 조합으로 표현한다.
• 이 특성화를 활용하여 PointNetST이 등치변환 함수에 대해 보편적임을 증명한다.
• 이 이론적 프레임워크를 적용하여 DeepSets와 PointNetSeg도 보편적임을 입증한다.
• 세트 분류 및 회귀 작업에서 수치 실험을 수행하여 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 PointNet은 연속적인 순열 등치변환 함수에 대해 보편적으로 근사 가능한가?
• RQ2 PointNet에 최소한의 아키텍처 수정을 가해 보편적인 등치변환 근사를 달성할 수 있는가?
• RQ3 순열 등치변환 성질을 갖는 다항층의 완전한 대수적 구조는 무엇인가?
• RQ4 PointNetST의 이론적 보편성은 실제 작업에서의 실용적 성능과 어떻게 비교되는가?
• RQ5 DeepSets 및 PointNetSeg와 같은 널리 사용되는 모델들은 등치변환 함수에 대해 보편적으로 근사 가능한가?

주요 결과

• PointNet은 모든 연속적인 순열 등치변환 함수를 근사할 수 없기 때문에 등치변환 보편적이지 않다.
• 단일 선형 전송층(즉, PointNetST)을 추가하면 PointNet이 모든 연속적인 순열 등치변환 함수에 대해 보편적으로 근사 가능해진다.
• 보편적인 순열 등치변환 신경망에 필요한 최소 폭은 ω ≤ k_out + k_in + (n + k_in choose k_in)로 제한된다.
• DeepSets와 PointNetSeg가 등치변환 함수에 대해 보편적임을 증명함으로써 이들의 이론적 근거를 확장한다.
• 수치 실험 결과, PointNetST, DeepSets, PointNetSeg는 분류 및 회귀 작업에서 유사한 성능을 보이며, 비보편적인 PointNet은 성능이 열 劣한다.
• 비등치변환 MLP 기준 모델은 유사한 파라미터 수를 가짐에도 불구하고 성능이 열 劣하여 등치변환성의 일반화에 대한 중요성을 강조한다.