[논문 리뷰] Tabulated MLP for Fast Point Feature Embedding

Yusuke Sekikawa, Teppei Suzuki|arXiv (Cornell University)|2019. 11. 23.

3D Shape Modeling and Analysis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 표준 MLP 대신 룩업 테이블과 삼선형 보간을 사용하는 탭류된 다층 퍼셉트론(LUTI-MLP)을 제안한다. 이는 3D 포인트 클라우드에서 추론 속도를 80배 빠르게 하면서도 정확도를 유지하거나 略로 향상시킨다. 이 방법은 포인트 클라우드 정렬을 위한 최적화에서 특징 임bedding과 야코비안 계산 모두에서 뚜렷한 속도 향상을 이룬다. 테스트 시점에서의 근사 계산이 전혀 없이도 성능을 유지는 한다.

ABSTRACT

Aiming at a drastic speedup for point-data embeddings at test time, we propose a new framework that uses a pair of multi-layer perceptron (MLP) and look-up table (LUT) to transform point-coordinate inputs into high-dimensional features. When compared with PointNet's feature embedding part realized by MLP that requires millions of dot products, ours at test time requires no such layers of matrix-vector products but requires only looking up the nearest entities followed by interpolation, from the tabulated MLP defined over discrete inputs on a 3D lattice. We call this framework as "LUTI-MLP: LUT Interpolation MLP" that provides a way to train end-to-end tabulated MLP coupled to a LUT in a specific manner without the need for any approximation at test time. LUTI-MLP also provides significant speedup for Jacobian computation of the embedding function wrt global pose coordinate on Lie algebra $\mathfrak{se}(3)$ at test time, which could be used for point-set registration problems. After extensive architectural analysis using ModelNet40 dataset, we confirmed that our LUTI-MLP even with a small-sized table ($8 imes 8 imes 8$) yields performance comparable to that of MLP while achieving significant speedup: $80 imes$ for embedding, $12 imes$ for approximate Jacobian, and $860 imes$ for canonical Jacobian.

연구 동기 및 목표

• 3D 포인트 클라우드 처리 파이프라인에서 테스트 시점의 포인트 특징 임베딩 속도를 극적으로 향상시키기 위해.
• se(3)에서 전역 자세에 대한 임베딩의 야코비안을 효율적으로 계산할 수 있도록 하여 포인트 클라우드 정렬에 필수적인 최적화를 가능하게 하기 위해.
• 표준 MLP에서 계산 비용이 큰 행렬-벡터 곱셈을 대체하면서도 높은 정확도를 유지하는 탭류된 MLP 프레임워크를 설계하기 위해.
• 근사 없이 엔드 투 엔드로 네트워크를 훈련시켜, 보간을 통한 정확한 추론을 보장하기 위해.

제안 방법

• LUTI-MLP는 표준 MLP를 사용해 이산적인 3D 격자 점에서 특징 기저 함수를 사전 계산하고, 이를 룩업 테이블(LUT)에 저장한다.
• 테스트 시점에 네트워크는 8개의 가장 가까운 격자 점을 기반으로 삼선형 보간을 통해 연속적인 3D 점의 임베딩을 계산한다.
• 임베딩는 가중치 합으로 표현된다: $\mathbf{z}_i = \sum w_i^{(j)} \bar{\mathbf{z}}_i^{(j)}$, 여기서 가중치 $w_i^{(j)}$ 는 입력 점이 격자에 가까운 정도에 따라 유도된다.
• 이 방법은 정규화된 $\mathbb{R}^3$ 및 $\mathfrak{se}(3)$에 대한 임베딩의 야코비안을 분석적이고 효율적으로 계산할 수 있게 하여, 정렬 최적화에 필수적인 요소가 된다.
• LUT는 백프로파게이션을 사용해 엔드 투 엔드로 훈련되며, 훈련 시점(MLP 기반)과 추론 시점(LUT-보간 기반)의 네트워크 구조가 비대칭이다.
• 근사 오차를 방지하기 위한 새로운 훈련 전략이 도입되어, LUT 기반 추론이 원래 MLP와 정확하고 일관되게 일치함을 보장한다.

실험 결과

연구 질문

• RQ1 루크업 테이블 기반의 MLP는 3D 포인트 클라우드 분류에서 표준 MLP와 유사한 성능을 달성하면서도 추론 시간을 극적으로 줄일 수 있는가?
• RQ2 LUTI-MLP 프레임워크는 $\mathfrak{se}(3)$에서 전역 자세에 대한 임베딩의 야코비안을 효율적으로 분석적으로 계산할 수 있는가? 이는 정렬 작업에 적합한가?
• RQ3 루크업 테이블의 크기(예: $8\times8\times8$)가 특징 임베딩의 속도와 정확도 간의 트레이드오���에 미치는 영향은 어떠한가?
• RQ4 근사 없이 엔드 투 엔드로 LUTI-MLP를 훈련시키면, 직접 테이블 학습이나 단순 미세조정보다 더 높은 성능을 낼 수 있는가?
• RQ5 LUTI-MLP는 계층적 또는 그래프 기반의 포인트 클라우드 네트워크에 효과적으로 적용되어 특징 학습 속도를 높일 수 있는가?

주요 결과

• LUTI-MLP는 $8\times8\times8$ 테이블을 사용할 경우 ModelNet40에서 88.01%의 정확도를 달성하여 원본 PointNet의 87.03%를 略로 초월한다.
• 표준 MLP 기반 PointNet 대비 특징 임베딩 추론 속도가 80배 빨라졌다.
• $\mathfrak{se}(3)$에 대한 야코비안 계산은 근사 야코비안 기준 12배, 캐논리컬 야코비안 기준 860배 빨라졌다.
• D=64일 때 LUTI-MLP가 학습한 임베딩 공간은 원본 MLP와 높은 유사성을 보이며, 매끄럽고 구조적인 특징 맵을 형성한다.
• 직접 테이블 학습(LUTI-Direct)은 D가 클 경우 대부분의 테이블 항목을 갱신하지 못해, LUTI-MLP와 같은 구조적 훈련 전략이 필요함을 시사한다.
• 표준 PointNet 모델을 사용해 LUTI-MLP를 사전 훈련하면 수렴 속도와 성능이 향상되며, 특히 D가 작을 경우 두드러진다.