[논문 리뷰] LighTN: Light-weight Transformer Network for Performance-overhead Tradeoff in Point Cloud Downsampling

Xu Wang, Yi Jin외 4명|arXiv (Cornell University)|2022. 02. 13.

Optical Imaging and Spectroscopy Techniques인용 수 5

한 줄 요약

LighTN은 단일 헤드 자기상관 모듈을 사용하여 기존의 QKV 투영을 대체함으로써 계산 오버헤드를 줄이고 높은 성능을 유지하는 경량 Transformer 네트워크를 제안한다. 새로운 샘플링 손실 함수와 확장-감소 피드포워드 네트워크 스케일링을 통해 자원 소비를 최소화하면서도 분류 및 등록 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Compared with traditional task-irrelevant downsampling methods, task-oriented neural networks have shown improved performance in point cloud downsampling range. Recently, Transformer family of networks has shown a more powerful learning capacity in visual tasks. However, Transformer-based architectures potentially consume too many resources which are usually worthless for low overhead task networks in downsampling range. This paper proposes a novel light-weight Transformer network (LighTN) for task-oriented point cloud downsampling, as an end-to-end and plug-and-play solution. In LighTN, a single-head self-correlation module is presented to extract refined global contextual features, where three projection matrices are simultaneously eliminated to save resource overhead, and the output of symmetric matrix satisfies the permutation invariant. Then, we design a novel downsampling loss function to guide LighTN focuses on critical point cloud regions with more uniform distribution and prominent points coverage. Furthermore, We introduce a feed-forward network scaling mechanism to enhance the learnable capacity of LighTN according to the expand-reduce strategy. The result of extensive experiments on classification and registration tasks demonstrates LighTN can achieve state-of-the-art performance with limited resource overhead.

연구 동기 및 목표

• 저전력 응용 분야에서 기반 기반 포인트 클라우드 다운샘플링의 높은 자원 오버헤드 문제를 해결하기 위해.
• 사전 훈련된 작업 네트워크와 호환되는 플러그 앤 플레이, 엔드 투 엔드 다운샘플링 솔루션을 개발하기 위해.
• QKV 투영 행렬을 제거하고 확장-감소 스케일링을 통한 네트워크 깊이 최적화를 통해 성능과 효율성의 균형을 이루기 위해.
• 새로운 샘플링 손실 함수를 통해 네트워크가 중요한 균일 분포 포인트에 집중하도록 이끌기 위해.

제안 방법

• 질의, 키, 값 투영 행렬을 별도로 가지 않는 단일 헤드 자기상관 모듈을 도입하여 파라미터 및 FLOP 오버헤드를 감소시킨다.
• 대칭 행렬 계산을 활용하여 순열 불변성을 자연스럽게 만족시켜 안정성과 효율성을 향상시킨다.
• Chamfer 거리, 교체 손실, 지수 온도 스케일링을 적용한 소프트 할당 손실을 조합한 다중 구성 요소 샘플링 손실을 설계하여 포인트 커버리지와 균일성을 향상시킨다.
• 피드포워드 네트워크에 확장-감소 전략을 적용하여 FLOPs와 파라미터 증가를 최소화하면서 깊이를 증가시킨다.
• 자기상관 모듈 내 모든 투영 행렬을 제거하여 성능과 자원 비용 간 최적의 트레이드오프를 달성한다.
• 기본 설정으로서 두 번째 레이어에서 확장 비율 2를 갖는 3층의 FFN을 사용하여 정확도와 효율성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 경량화된 Transformer 아키텍처가 계산 및 메모리 오버헤드를 최소화하면서도 포인트 클라우드 다운샘플링에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 QKV 투영 행렬을 제거함으로써 다운샘플링 작업에서 자기주의 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 경량 다운샘플링 프레임워크에서 모델 깊이와 자원 비용을 균형 잡기 위한 피드포워드 네트워크의 최적 구성은 무엇인가?
• RQ4 제안된 샘플링 손실 함수가 중요한 균일 분포 포인트를 유지하도록 네트워크를 이끄는 데 얼마나 효과적인가?
• RQ5 자기상관 메커니즘이 표준 도트프로덕트 어텐션보다 다운샘플링에서 분류 능력과 효율성 측면에서 뛰어나게 작용하는가?

주요 결과

• LighTN은 자원 오버헤드를 크게 줄이며 ModelNet40 분류 및 ShapeNet 등록 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모든 QKV 투영 행렬을 제거함으로써 3헤드 버전 대비 FLOPs는 최대 65.6% 감소하고 파라미터 수는 3.6% 감소하며 정확도 저하가 거의 없이 구현된다.
• 대칭 행렬 계산을 활용한 자기상관 모듈은 표준 단일 헤드 도트프로덕트 어텐션보다 더 뛰어난 분류 능력과 낮은 오버헤드를 제공한다.
• 소프트 할당 손실 구성 요소에 지수 온도 함수를 적용함으로써 제곱 스케일링 대비 모델 수렴과 정확도 향상에 유리하다.
• L=3 및 r=2로 설정한 확장-감소 전략은 평균적으로 FLOPs를 0.0087G, 파라미터를 0.0488M만 증가시키며 성능 향상을 이룬다.
• L_soft(exp(t)) 및 L_repl 구성 요소를 포함한 제안된 샘플링 손실 함수가 가장 높은 정확도를 달성하여 포인트 선택 유도 효과를 입증한다.