[논문 리뷰] SE(3)-Equivariant Attention Networks for Shape Reconstruction in Function Space

Evangelos Chatzipantazis, Stefanos Pertigkiozoglou외 2명|arXiv (Cornell University)|2022. 04. 05.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 국소적 등변 주의 메커니즘을 활용하여 방향이 없는, 흐린, 흐트러진 점군으로부터 3D 형상을 복원하는 새로운 SE(3)-등변(coordinate-based attention) 네트워크인 TF-ONet을 제안한다. 학습 중에 사전 분할이나 자세 정렬이 필요 없이 단일 객체 및 다중 객체 시나리오에서 최신 기술 수준의 성능을 달성하며, 임의의 객체 구성이 가능한 새로운 시나리오로 일반화되어 강인하게 작동한다.

ABSTRACT

We propose a method for 3D shape reconstruction from unoriented point clouds. Our method consists of a novel SE(3)-equivariant coordinate-based network (TF-ONet), that parametrizes the occupancy field of the shape and respects the inherent symmetries of the problem. In contrast to previous shape reconstruction methods that align the input to a regular grid, we operate directly on the irregular point cloud. Our architecture leverages equivariant attention layers that operate on local tokens. This mechanism enables local shape modelling, a crucial property for scalability to large scenes. Given an unoriented, sparse, noisy point cloud as input, we produce equivariant features for each point. These serve as keys and values for the subsequent equivariant cross-attention blocks that parametrize the occupancy field. By querying an arbitrary point in space, we predict its occupancy score. We show that our method outperforms previous SO(3)-equivariant methods, as well as non-equivariant methods trained on SO(3)-augmented datasets. More importantly, local modelling together with SE(3)-equivariance create an ideal setting for SE(3) scene reconstruction. We show that by training only on single, aligned objects and without any pre-segmentation, we can reconstruct novel scenes containing arbitrarily many objects in random poses without any performance loss.

연구 동기 및 목표

• 복잡한 시나리오에서 임의의 자세로 배열된 다수의 객체가 존재하는 경우에도, 방향이 없고 흐트러진, 노이즈가 많은 점군으로부터 3D 형상 복원 문제를 해결하는 것.
• 회전과 이동에 대해 기하학적 대칭성을 유지하기 위해 SE(3) 등변성을 인덕티브 바이어스로 통합하는 것.
• 등변 주의 레이어를 통해 국소적 형상 모델링을 가능하게 하여 대규모 비정규 구조 시나리오에 대해 효율적으로 확장 가능한 방법을 제공하는 것.
• 단일 캐논리컬 객체에서만 학습된 경우에도, 임의의 자세로 배열된 다수의 객체를 포함하는 새로운 시나리오에서 고해상도 복원을 달성하는 것.
• 스칼라 및 벡터 표현을 초월하여 주의 메커니즘 내에서 고차원 텐서 필드 표현을 활용하는 것.

제안 방법

• 이 방법은 이중 레벨 아키텍처를 사용한다: 점군 이웃 영역에서 등변 특징을 추출하는 국소 자기주의 인코더와, 공간 내 쿼리 점에서의 점유도 점수를 예측하는 크로스주의 옥류시티 네트워크.
• 등변 주의 레이어는 텐서 필드 프레임워크를 사용하여 국소 토큰에서 작동하며, 스칼라 및 벡터를 초월하는 고차원 표현을 가능하게 하고 SE(3) 변환에 대해 불변성을 보장한다.
• 모델은 쿼리에 따라 달라지는 주의 메커니즘을 사용하며, 점 특징을 키와 값으로 사용하고, 쿼리의 공간 좌표를 쿼리로 사용하여 점유도 점수를 예측한다.
• 모델은 캐논리컬로 정렬된 단일 객체에서 엔드 투 엔드로 학습되며, 재학습이나 분할 없이도 임의의 수의 객체가 무작위 자세로 배열된 시나리오로 일반화된다.
• 등변성은 특정 기하 영역인 등변 영역에서 공식적으로 입증되며, 점군의 독립적인 SO(3) 회전에 대해 쿼리의 가장 가까운 이웃이 일관성을 유지한다.
• 그리드 기반 표현을 피하고 비정규 점군에서 직접 작동하여 확장성과 토폴로지 무관 복원을 유지한다.

실험 결과

연구 질문

• RQ1 SE(3)-등변 주의를 갖는 좌표 기반 네트워크가, 비등변 및 SO(3)-등변 기반 베이스라인에 비해 방향이 없고 흐트러진, 노이즈가 많은 점군으로부터 3D 형상 복원에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 등변 특징 학습을 통한 국소 주의는 단일 캐논리컬 객체에서만 학습된 경우에도, 임의의 자세로 배열된 다수의 객체를 포함하는 새로운 시나리오로 일반화할 수 있는가?
• RQ3 스칼라 및 벡터를 초월하는 고차원 텐서 표현은 등변 형상 복원에서 성능 향상에 얼마나 기여하는가?
• RQ4 명시적인 분할이나 자세 감독 없이도, 복잡한 시나리오 수준의 변환에 대해 등변성을 유지할 수 있는가?
• RQ5 다양한 시나리오 구성, 특히 새로운 객체 클래스나 구성이 포함된 경우에 모델의 성능는 어떻게 스케일링되는가?

주요 결과

• TF-ONet은 Vector Neurons 및 GraphOnet와 같은 SO(3)-등변 방법과, SO(3) 데이터 증강을 사용한 비등변 모델보다도 단일 객체 및 다중 객체 복원 벤치마크에서 모두 뛰어난 성능을 보였다.
• Seismic 데이터셋에서 최신 기술 수준의 정량적 성과를 달성하여, 무작위로 배치된 객체가 있는 시나리오에서 복원 품질의 뚜렷한 격차를 보였다.
• Matterport3D에서의 정성 평가에서, 모델은 미리 보지 않은 객체 클래스를 포함한 실세계 시나리오로 일반화되어 피드백 없이도 고해상도 복원을 생성했다.
• 정의된 등변 영역에서 모델은 등변성을 유지하며, 점군의 독립적인 SO(3) 회전에 대해 쿼리의 가장 가까운 이웃이 일관성을 유지한다.
• 임의의 수의 객체가 무작위 자세로 배열된 새로운 시나리오로 일반화되어, 단일 캐논리컬 객체에서만 학습된 경우에도 성능 저하 없이 고품질 복원을 달성한다.
• 텐서 필드 프레임워크를 통한 고차원 텐서 표현의 사용은 스칼라 및 벡터 전용 접근보다 더 표현력 있는 특징 학습을 가능하게 하여 성능 향상에 기여한다.