[논문 리뷰] VN-Transformer: Rotation-Equivariant Attention for Vector Neurons

Serge Assaad, Carlton Downey외 3명|arXiv (Cornell University)|2022. 06. 08.

Optical measurement and interference techniques인용 수 11

한 줄 요약

VN-Transformer는 벡터 뉴런 모델에서 복잡한 사전처리에 의존하지 않고도 직접적인 포인트 클라우드 입력과 비공간적 속성 지원을 가능하게 하는 회전 등변성 어텐션 메커니즘을 도입한다. ε-근사 등변성 덕분에 추론 속도와 강인성을 향상시켜 Waymo Open Motion Dataset에서 평균 거리 오차를 기존 Transformer 대비 27% 감소시켰으며, 3D 형태 분류 및 운동 예측에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Rotation equivariance is a desirable property in many practical applications such as motion forecasting and 3D perception, where it can offer benefits like sample efficiency, better generalization, and robustness to input perturbations. Vector Neurons (VN) is a recently developed framework offering a simple yet effective approach for deriving rotation-equivariant analogs of standard machine learning operations by extending one-dimensional scalar neurons to three-dimensional "vector neurons." We introduce a novel "VN-Transformer" architecture to address several shortcomings of the current VN models. Our contributions are: $(i)$ we derive a rotation-equivariant attention mechanism which eliminates the need for the heavy feature preprocessing required by the original Vector Neurons models; $(ii)$ we extend the VN framework to support non-spatial attributes, expanding the applicability of these models to real-world datasets; $(iii)$ we derive a rotation-equivariant mechanism for multi-scale reduction of point-cloud resolution, greatly speeding up inference and training; $(iv)$ we show that small tradeoffs in equivariance ($ε$-approximate equivariance) can be used to obtain large improvements in numerical stability and training robustness on accelerated hardware, and we bound the propagation of equivariance violations in our models. Finally, we apply our VN-Transformer to 3D shape classification and motion forecasting with compelling results.

연구 동기 및 목표

• 복잡한 사전처리 없이도 벡터 뉴런 모델에서 회전 등변성 Transformer 아키텍처를 개발하는 것.
• 실세계 포인트 클라우드 데이터에서 비공간적 속성(예: 강도, 의미 정보)을 처리할 수 있도록 벡터 뉴런 프레임워크를 확장하는 것.
• 포인트 클라우드에서 다중 척도 특징 감소를 등변성 유지하면서 효율적으로 수행하는 것.
• 가속화된 하드웨어에서 학습의 안정성 향상을 위해 근사 등변성(ε)과 수치 안정성 간의 상호 작용을 분석하는 것.
• 등변성 보장을 갖춘 3D 형태 분류 및 운동 예측에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 스칼라 자기 어텐션을 행렬 값 벡터 뉴런으로 일반화하는 프로베니우스 내적 기반 어텐션 메커니즘을 제안하여 회전 등변성을 보장한다.
• 포인트 클라우드 해상도를 1024에서 32 토큰으로 감소시키는 학습 가능한 잠재 특징 메커니즘을 도입하여 학습 속도를 약 2배로 향상시키고 정확도 손실는 최소한으로 유지한다.
• 비공간적 속성(예: 강도, 의미 정보)을 등변성 모델에 통합하기 위한 두 가지 메커니즘을 설계하여 등변성 파괴 없이 통합한다.
• 가속기 하드웨어에서 수치 안정성과 학습 강인성을 향상시키기 위해 VN-LinearWithBias 레이어에서 ε-근사 등변성을 적용한다.
• 엔드 투 엔드 학습을 통해 VN-Transformer를 3D 형태 분류(ModelNet40) 및 운동 예측(Waymo Open Motion Dataset)에 적용한다.
• 벡터 뉴런 형식에 맞게 조정된 잔차 연결과 레이어 정규화를 Transformer 디코더 헤드에 적용한다.

실험 결과

연구 질문

• RQ1 엣지 컨볼루션 또는 사전처리에 의존하지 않고도 직접적으로 벡터 뉴런에서 회전 등변성 어텐션 메커니즘을 유도할 수 있는가?
• RQ2 비공간적 속성을 등변성 모델에 통합할 때 등변성을 해치지 않도록 할 수 있는가?
• RQ3 가속화된 하드웨어 환경에서 ε-근사 등변성이 수치 안정성과 학습 효율성에 어떤 영향을 미치는가?
• RQ4 다중 척도 특징 감소를 등변성 유지하면서 수행할 수 있는가, 이를 통해 포인트 클라우드 모델의 추론 속도 향상이 가능한가?
• RQ5 회전 왜곡 상황에서도 VN-Transformer가 표준 Transformer보다 운동 예측 성능에서 뛰어나게 되는가?

주요 결과

• ε = 10⁻⁶일 때 VN-Transformer는 Waymo Open Motion Dataset에서 추가적인 속도 특징을 활용해 평균 거리 오차(ADE)를 3.67로 줄여 표준 Transformer 대비 27% 향상시켰다.
• 잠재 특징 메커니즘을 통해 토큰 수를 1024에서 32로 줄였을 때 학습 속도가 2배로 향상되었고, ModelNet40에서 정확도 손실는 1.7%에 그쳤다.
• ε = 10⁻⁶일 때 VN-Transformer는 데이터 증강 없이도 WOMD에서 ADE 3.95를 기록했으며, 이는 표준 Transformer(5.01 ADE)를 초월했고, 후자는 z축 회전 증강을 사용한 경우에도 열등했다.
• 모델은 회전에 대해 강력한 일반화 성능 유지를 보였다: 입력 회전에 대해 예측이 등변성을 유지하며, 그림 7에서 시각적으로 확인되었다. 반면 표준 Transformer는 그렇지 못했다.
• VN-PointNet과 VN-Transformer 모두 폴카닷 공간 특징에서 크게 이점을 얻었으며, 이는 공간적 및 비공간적 정보의 효과적인 융합을 시사한다.
• 이론적 경계 분석 결과, 등변성 위반은 제한된 방식으로 전파되며, 총 오차는 각 레이어의 리프시츠 상수와 ε의 곱으로 제한됨을 보였다.