[논문 리뷰] Attention Models for Point Clouds in Deep Learning: A Survey

Xu Wang, Yi Jin외 3명|arXiv (Cornell University)|2021. 02. 22.

3D Shape Modeling and Analysis참고 문헌 38인용 수 4

한 줄 요약

이 종합 검토는 3차원 포인트 클라우드 처리를 위한 딥러닝에서 주의 메커니즘에 대한 포괄적인 개요를 제공하며, 컴퓨터 시각, 로봇공학, 기타 애플리케이션 분야에서 최근 75편 이상의 연구를 다룹니다. 이 리뷰는 작업 기반으로 주의 모델을 체계적으로 분류하고, 아키텍처 구성 요소를 분석하며, 순서가 없고 비정규적인 포인트 클라우드로부터 강건하고 구분력 있는 특징 학습의 주요 추세와 과제를 규명합니다.

ABSTRACT

Recently, the advancement of 3D point clouds in deep learning has attracted intensive research in different application domains such as computer vision and robotic tasks. However, creating feature representation of robust, discriminative from unordered and irregular point clouds is challenging. In this paper, our ultimate goal is to provide a comprehensive overview of the point clouds feature representation which uses attention models. More than 75+ key contributions in the recent three years are summarized in this survey, including the 3D objective detection, 3D semantic segmentation, 3D pose estimation, point clouds completion etc. We provide a detailed characterization (1) the role of attention mechanisms, (2) the usability of attention models into different tasks, (3) the development trend of key technology.

연구 동기 및 목표

• 3차원 포인트 클라우드 표현을 위한 딥러닝에서 주의 메커니즘에 집중한 포괄적이고 최신의 종합 검토를 제공하는 것.
• 순서가 없고 비정규적인 포인트 클라우드에서 주의 메커니즘이 특징 표현을 향상시키는 역할를 분석하는 것.
• 3D 검출, 세그멘테이션, 자세 추정, 복원과 같은 주요 작업들에 걸쳐 주의 기반 방법을 분류하고 비교하는 것.
• 포인트 클라우드를 위한 효율적이고 다중모odal, 에너지 인식형 주의 모델 설계에서 나타나는 신규 추세와 열린 과제를 식별하는 것.
• 지난 3년간 분야에서의 75건 이상의 핵심 기여 사항을 요약하여 연구자들이 참고할 수 있도록 하는 것.

제안 방법

• 작동 원리에 따라 자기 주의(self-attention), 공주의(co-attention), 소프트 주의(soft-attention), 하드 주의(hard-attention), 국소 주의(local-attention)로 주의 메커니즘을 분류하는 것.
• 다중 헤드 자기 주의, 채널 기반 및 포인트 기반 주의, 온도 조절 주의 모듈 등을 포함한 주의 모듈의 아키텍처 설계를 검토하는 것.
• PointNet, PointNet++, 그래프 신경망 등 다양한 딥러닝 프레임워크에 주의 메커니즘의 통합을 분석하는 것.
• 특히 소프트 주의 마스크를 사용한 포인트 클라우드와 이미지 특징 정렬을 통한 다중모달 융합에서 주의의 활용을 검토하는 것.
• 계층적 및 재귀적 주의 모듈을 사용하여 포인트 클라우드의 업샘플링, 복원, 법선 추정에 주의 기반 방법을 평가하는 것.
• 특히 엣지 장치에 구현할 경우를 고려할 때, 계산 비용, 메모리 점유율, 에너지 효율성과 같은 아키텍처적 트레이드오프를 논의하는 것.

실험 결과

연구 질문

• RQ1 자기 주의, 공주의, 소프트/하드 주의와 같은 다양한 주의 메커니즘은 3차원 포인트 클라우드에서 특징 표현을 어떻게 향상시키는가?
• RQ2 최신 포인트 클라우드 작업을 위한 주의 모델에서 사용되는 핵심 아키텍처 구성 요소와 설계 패턴은 무엇인가?
• RQ3 주의 메커니즘은 3D 검출, 의미 세그멘테이션, 법선 추정과 같은 후행 작업에서 성능을 어떻게 향상시키는가?
• RQ4 대규모 포인트 클라우드에 주의 메커니즘을 확장하면서도 효율성을 유지하는 데 있어 주요 과제는 무엇인가?
• RQ5 실세계 응용에서 다중모달 융합 및 에너지 효율적 구현을 위해 주의 기반 모델을 효과적으로 어떻게 적응시킬 수 있는가?

주요 결과

• 자기 주의 메커니즘은 TMHSA에서 다중 헤드 자기 주의 모듈을 통해 포인트 클라우드에서 장거리 특징 종속성 모델링을 크게 향상시킨다.
• 포인트 기반 및 채널 기반의 이중 주의 메커니즘은 공간적 포인트와 특징 채널을 동적으로 가중하여 특징 표현을 향상시키며, 이는 정확도 향상에 기여한다.
• 주의 기반 융합 기법, 예를 들어 소프트 주의 마스크는 포인트 클라우드와 이미지 간의 효과적인 다중모달 특징 통합을 가능하게 하여 3D 인식 작업의 성능을 향상시킨다.
• L2G-AE와 같은 모델에서의 계층적 자기 주의는 포인트, 스케일, 영역 수준에서의 다중 수준 특징 집합을 가능하게 하여 비지도 업샘플링 품질을 향상시킨다.
• PUI-Net에서의 채널 주의 메커니즘은 분류 능력을 향상시키기 위해 구분력 있는 특징 추출을 강화하여 포인트 클라우드 복원 및 업샘플링 성능을 향상시킨다.
• 성능 향상에도 불구하고 많은 주의 기반 모델은 대규모 포인트 세트에서 확장성과 계산 비용 문제를 겪고 있어, 경량화되고 에너지 효율적인 설계의 필요성을 부각시킨다.