[논문 리뷰] Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds

Nathaniel Thomas, Tess Smidt외 5명|arXiv (Cornell University)|2018. 02. 22.

3D Shape Modeling and Analysis참고 문헌 19인용 수 564

한 줄 요약

3D 포인트 클라우드에 대해 회전 및 평행 이동에 대해 불변인 텐서 필드 네트워크를 도입하여 구, 벡터, 고차 텐서 출력을 구면 조화 기반 필터와 Clebsch-Gordan 텐서 곱을 통해 가능하게 한다.

ABSTRACT

We introduce tensor field neural networks, which are locally equivariant to 3D rotations, translations, and permutations of points at every layer. 3D rotation equivariance removes the need for data augmentation to identify features in arbitrary orientations. Our network uses filters built from spherical harmonics; due to the mathematical consequences of this filter choice, each layer accepts as input (and guarantees as output) scalars, vectors, and higher-order tensors, in the geometric sense of these terms. We demonstrate the capabilities of tensor field networks with tasks in geometry, physics, and chemistry.

연구 동기 및 목표

• 전체 회전 및 평행 이동 불변성을 가진 3D 유클리드 공간에서의 학습 동기를 제시하여 데이터 증강을 줄이고 효율성을 개선한다.
• 연속 로컬 컨볼루션과 기하학적 텐서 출력을 갖는 포인트 클라우드에서 작동하는 범용 아키텍처를 개발한다.
• SO(3) 표현과 호환되는 회전 불변 빌딩 블록(포인트 컨벌루션, 자기상호작용, 비선형)을 제공한다.
• 도형 분류, 역학 및 분자 구조 생성 등 기하학, 물리학, 화학 응용을 시연한다.

제안 방법

• 텐서 값 특징을 가진 3D 점 집합을 입력으로 받아 각 점에서 텐서 값 특징을 출력하는 레이어를 정의한다.
• 구면 조화 Y_m^{(l)}를 사용하는 SO(3) 불변성을 보장하기 위해 r에 대한 F_{cm}^{(l_f,l_i)}(r) = R^{(l_f,l_i)}_{c}(r) Y_m^{(l_f)}(\rhat)을 갖도록 컨볼루션 필터를 제약한다.
• 입력 표현과 필터 표현을 Clebsch-Gordan 계수를 사용한 텐서 곱으로 결합하여 SO(3) 불변으로 분해된 표현에 의해 출력을 생성한다.
• 포인트 컨벌루션, 자기상호작용, 비선형성의 permutations, translations, rotations에 대한 불변성 보장을 증명한다.
• 스칼라, 벡터, 대칭 무정 텐서를 나타내는 l=0,1,2 표현을 구현하고, 회전 차수당 레이어별 채널을 구성한다.
• 다음 작업에서 시연: 기하학(데이터 증강 없이 형태 분류), 물리학(가속도와 관성 텐서), 화학(QM9에서 누락된 원소 생성)

실험 결과

연구 질문

• RQ1 네트워크가 각 레이어에서 3D 회전, 평행 이동 및 점 순열에 로컬하게 불변일 수 있는 방법은 무엇인가?
• RQ2 구면 조화와 반경 함수로 구성된 필터가 SO(3) 불변성을 실현하고 스칼라, 벡터, 고차 텐서를 출력할 수 있는가?
• RQ3 기하학, 물리학 및 화학에서 텐서 필드 네트워크가 비-불변 또는 부분적으로 불변인 모델 대비 어떤 실용적 이점을 보여주는가?
• RQ4 네트워크가 다양한 3D 데이터 모달리티에서 회전 및 평행 이동 불변 출력을 어떻게 수행하는가?

주요 결과

Atoms	Number of predictions	Accuracy (%) (≤0.5 Å and atom type)	Distance MAE (Å)
5-18	15863	91.3 (train)	0.16
19	19000	93.9 (test)	0.14
23	23000	96.5 (test)	0.13
25-29	25356	97.3 (test)	0.16

• 텐서 필드 네트워크는 모든 레이어에서 3D 회전 및 평행 이동 불변성을 달성한다.
• 회전 불변 필터를 사용하면 모델은 점마다 일관된 변환 차수의 텐서(스칼라, 벡터, 고차 텐서)를 출력한다.
• 기하학적 작업에서 네트워크는 단일 방향에서 3D 모양을 분류하고 무작위 회전/이동에서도 정확도를 유지한다(회전 데이터 증강 없이).
• 물리학 작업에서 모델은 최소 레이어로도 뉴턴 가속도와 관성 텐서를 올바른 반경 동작으로 학습한다.
• 화학에서 네트워크는 QM9 구조의 누락된 원자를 높은 정확도와 분자 크기에 대해 잘 일반화하며 예측한다.
• 이 접근법은 수백에서 수천 개의 점으로 확장되며 기존의 분자/지시 그래프 아키텍처를 보완한다.