[논문 리뷰] SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks

Fabian B. Fuchs, Daniel E. Worrall외 2명|arXiv (Cornell University)|2020. 06. 18.

3D Shape Modeling and Analysis참고 문헌 43인용 수 223

한 줄 요약

SE(3)-Transformer를 도입하여 3D 점 구름과 그래프를 위한 SE(3)-등가 자기 주의 모델을 제시하고, 회전/병진 처리의 강건성을 가능하게 하며 N-body, ScanObjectNN, QM9에서 경쟁력 있는 성능을 보인다.

ABSTRACT

We introduce the SE(3)-Transformer, a variant of the self-attention module for 3D point clouds and graphs, which is equivariant under continuous 3D roto-translations. Equivariance is important to ensure stable and predictable performance in the presence of nuisance transformations of the data input. A positive corollary of equivariance is increased weight-tying within the model. The SE(3)-Transformer leverages the benefits of self-attention to operate on large point clouds and graphs with varying number of points, while guaranteeing SE(3)-equivariance for robustness. We evaluate our model on a toy N-body particle simulation dataset, showcasing the robustness of the predictions under rotations of the input. We further achieve competitive performance on two real-world datasets, ScanObjectNN and QM9. In all cases, our model outperforms a strong, non-equivariant attention baseline and an equivariant model without attention.

연구 동기 및 목표

• 잡음이 있는 3D 로테이션-이동 아래에서도 3D 점 구름/그래프에서 강건한 학습을 목표로 한다.
• 포즈 정보를 보존하는 SE(3)-등가 자기 주의 메커니즘을 개발한다.
• 이웃관계와 주의 메커니즘을 통해 크고 고르게 분포하지 않는 점 집합으로의 확장성을 달성한다.
• 비등가성 및 비주목 기반(Base)보다 향상된 강건성과 정확도를 입증한다.
• 더 넓은 활용을 위한 효율적인 구현과 오픈 소스 코드를 제공한다.

제안 방법

• 점 구름에서 이웃을 정의하여 그래프를 형성한다.
• SE(3)-불변인 간선 주의 가중치와 SE(3)-등가인 간선 메시지를 설계한다.
• 레이어 간에 SE(3) 등가성을 보존하는 주의 메커니즘을 도입한다.
• 노드 내부 특징을 결합하기 위한 자기 상호작용(선형 또는 주의 기반) 층을 도입한다.
• 등가성을 유지하면서 표현력을 높이기 위한 주의 기반 자기 상호작용 변형을 제공한다.

실험 결과

연구 질문

• RQ1 SE(3)-등가 주의가 3D 데이터의 회전/이동에 대한 강건성을 향상시킬 수 있는가?
• RQ2 SE(3) 설정에서 텐서장 네트워크 합성(convolutions)보다 주의가 더 큰 가치를 제공하는가?
• RQ3 이웃 크기 및 입력 점 개수에 따라 모델은 어떻게 확장되는가?
• RQ4 SE(3) 프레임워크에서 선형 자기 상호작용과 주의 기반 자기 상호작용 간의 트레이드오프는 무엇인가?
• RQ5 객체 분류 및 분자 속성 예측과 같은 실제 3D 작업에서 이 접근법이 경쟁력 있는가?

주요 결과

• SE(3)-Transformer가 비등가적 주의 기준선(Set Transformer) 및 주의가 없는 등가 모델을 여러 작업에서 능가한다.
• 모형은 회전 등가 예측을 높은 정확도로 달성하며(여러 실험에서 Delta_EQ가 거의 0에 근접) 고충실도를 보인다.
• N-body 시뮬레이션에서 SE(3)-Transformer는 위치와 속도에 대해 최상의 MSE를 달성하고 강한 등가성을 보여준다.
• ScanObjectNN에서 입력에 z 좌표를 추가하면 회전이 다양할 때 정확도가 상승하여 대칭 가정에 대한 유연성을 보여준다.
• QM9에서 SE(3)-Transformer는 다른 등가 모델 및 비등가기반 모델에 비해 경쟁력 있는 평균 절대 오차를 산출한다.
• 구현에는 학습 및 추론 효율을 개선하는 빠르고 GPU 가속 구면 조화 모듈이 포함되어 있다.