[논문 리뷰] Point2Sequence: Learning the Shape Representation of 3D Point Clouds with an Attention-based Sequence to Sequence Network

Xinhai Liu, Zhizhong Han외 2명|arXiv (Cornell University)|2018. 11. 06.

3D Shape Modeling and Analysis참고 문헌 24인용 수 37

한 줄 요약

Point2Sequence는 포인트 클라우드 내 다중 척도 국소 영역 간의 세밀한 상관관계를 모델링함으로써 3D 색상 표현을 학습하는 어텐션 기반 순서-순서 네트워크를 제안한다. RNN 기반 인코더-디코더에 어텐션 메커니즘을 적용하여 다양한 척도 간 특징을 통합함으로써, 모델넷40에서 92.6%의 정확도로 최신 기술 수준을 달성하였고, 샤프넷 파트에서 85.2%의 mIoU를 기록하였다.

ABSTRACT

Exploring contextual information in the local region is important for shape understanding and analysis. Existing studies often employ hand-crafted or explicit ways to encode contextual information of local regions. However, it is hard to capture fine-grained contextual information in hand-crafted or explicit manners, such as the correlation between different areas in a local region, which limits the discriminative ability of learned features. To resolve this issue, we propose a novel deep learning model for 3D point clouds, named Point2Sequence, to learn 3D shape features by capturing fine-grained contextual information in a novel implicit way. Point2Sequence employs a novel sequence learning model for point clouds to capture the correlations by aggregating multi-scale areas of each local region with attention. Specifically, Point2Sequence first learns the feature of each area scale in a local region. Then, it captures the correlation between area scales in the process of aggregating all area scales using a recurrent neural network (RNN) based encoder-decoder structure, where an attention mechanism is proposed to highlight the importance of different area scales. Experimental results show that Point2Sequence achieves state-of-the-art performance in shape classification and segmentation tasks.

연구 동기 및 목표

• 기존 방법이 3D 포인트 클라우드의 국소 영역에서 세밀한 문맥 정보를 포착하는 데에 한계가 있음을 해결하기 위해.
• 다양한 영역 척도 간 상관관계를 암묵적으로 인코딩하는 딥 러닝 모델을 개발하기 위해.
• 어텐션 메커니즘을 활용해 특징 통합 과정에서 중요한 척도 영역을 강조함으로써 색상 표현 학습을 향상시키기 위해.
• RNN 기반 순서 모델링이 3D 포인트 클라우드 이해에 효과적으로 적용될 수 있음을 입증하기 위해.

제안 방법

• 각 국소 영역을 계층적인 공간 구조를 포착하기 위해 다중 척도 영역으로 분해한다.
• 공유된 다층 퍼셉트론(MLP)이 각 척도 영역의 특징을 독립적으로 추출한다.
• RNN 기반 인코더-디코더 아키텍처가 모든 영역 척도 간 특징을 통합하며 순차적 의존성을 모델링한다.
• 어텐션 메커니즘이 통합 과정에서 다양한 영역 척도의 중요도를 동적으로 가중한다.
• 모델이 국소 영역을 시퀀스로 처리함으로써 척도 간 상관관계를 암묵적으로 모델링할 수 있다.
• 분류 및 세분화 작업을 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 어텐션 기반 순서-순서 모델은 3D 포인트 클라우드의 다중 척도 국소 영역 간 문맥 상관관계를 효과적으로 학습할 수 있는가?
• RQ2 척도 간 상관관계를 모델링함으로써 포인트 클라우드 표현 학습에서 특징의 구분 능력은 어떻게 향상되는가?
• RQ3 RNN 기반 아키텍처는 국소 영역의 장거리 의존성을 포착하기 위해 3D 포인트 클라우드 처리에 효과적으로 적용될 수 있는가?
• RQ4 제안된 어텐션 메커니즘은 특징 통합에서 명시적 연결 또는 풀링 전략보다 어떻게 우월한가?
• RQ5 성능과 계산 비용을 균형 잡기 위해 최적의 다중 척도 영역 수(T)는 얼마인가?

주요 결과

• ModelNet40에서 Point2Sequence는 인스턴스 평균 정확도 92.6%를 기록하여 PointNet++과 DGCNN보다 각각 1.9%, 0.2% 높은 성능을 보였다.
• ShapeNet Part 데이터셋에서 Point2Sequence는 평균 교차율(mIoU) 85.2%를 달성하여 최신 기술 수준의 방법들을 초월하였다.
• 절단 실험 결과, T=2의 다중 척도 영역을 사용할 경우 T=1보다 더 높은 성능을 기록하여 다중 척도 통합의 유용성을 확인하였다.
• ModelNet40에서 가장 높은 정확도를 얻기 위해 Point2Sequence의 최적 학습률은 0.001로 확인되었다.
• 어텐션 메커니즘이 특징 통합 과정에서 가장 관련성이 높은 척도 영역을 강조함으로써 특징 학습을 크게 향상시켰다.
• 모델은 색상 분류 및 파트 세분화 작업 모두에서 뛰어난 일반화 능력과 구분 능력을 보였다.