[논문 리뷰] L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention

Xinhai Liu, Zhizhong Han외 3명|arXiv (Cornell University)|2019. 08. 02.

3D Shape Modeling and Analysis참고 문헌 48인용 수 8

한 줄 요약

L2G Auto-encoder는 인코더에서 계층적 자기주의를 통해 국소 및 전반 구조를 동시에 학습하고, RNN 기반 디코더를 통해 점진적인 전반 구조 복원을 수행함으로써 점군 이해를 위한 새로운 국소-전반 복원 프레임워크를 제안한다. 다중 척도 국소 특징과 주목사용 기반 특징 추상화를 활용하여, 형태 분류, 검색 및 비지도 점군 업샘플링에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Auto-encoder is an important architecture to understand point clouds in an encoding and decoding procedure of self reconstruction. Current auto-encoder mainly focuses on the learning of global structure by global shape reconstruction, while ignoring the learning of local structures. To resolve this issue, we propose Local-to-Global auto-encoder (L2G-AE) to simultaneously learn the local and global structure of point clouds by local to global reconstruction. Specifically, L2G-AE employs an encoder to encode the geometry information of multiple scales in a local region at the same time. In addition, we introduce a novel hierarchical self-attention mechanism to highlight the important points, scales and regions at different levels in the information aggregation of the encoder. Simultaneously, L2G-AE employs a recurrent neural network (RNN) as decoder to reconstruct a sequence of scales in a local region, based on which the global point cloud is incrementally reconstructed. Our outperforming results in shape classification, retrieval and upsampling show that L2G-AE can understand point clouds better than state-of-the-art methods.

연구 동기 및 목표

• 점군의 국소 구조를 학습하는 데에 있어 기존 오토인코더의 한계를 해결하기 위해, 분류에 유용한 표현을 얻기 위해 필수적인 국소 구조를 효과적으로 학습하고자 한다.
• 통합된 오토인코딩 프레임워크를 통해 점군 내 국소 및 전반 기하학적 구조를 함께 학습할 수 있도록 하고자 한다.
• 다중 수준에서 중요한 점, 척도 및 영역을 강조하는 계층적 자기주의 기반 메커니즘을 도입하고자 한다.
• 국소 영역에서 다중 척도로 점진적으로 복원하는 RNN 기반 디코더를 설계하고자 한다.
• 지표 없이 국소 복원을 활용하여 밀도 높은 점군 생성을 가능하게 하여 비지도 점군 업샘플링을 효과적으로 수행하고자 한다.

제안 방법

• 인코더는 점, 척도 및 영역 수준에서 특징을 추출하기 위한 계층적 아키텍처를 사용하며, 각 수준 내에서 두드러진 특징을 강조하기 위해 새로운 계층적 자기주의 기반 메커니즘을 도입한다.
• 국소 영역은 샘플링된 중심점 주변으로 정의되며, 각 영역에서 다중 척도 특징을 추출하여 다양한 해상도에서 국소 기하학을 포착한다.
• 자기주의를 통해 동일 수준의 특징 간 상관관계를 모델링함으로써 계층적 표현에서 전반 특징을 집계한다.
• 디코더는 점군 척도를 국소 영역에서 시작하여 점진적으로 전반적 형태를 구성하는 순차적 순서로 복원하기 위해 RNN을 활용한다.
• 디코딩 중 특징을 업샘플링하기 위해 보간층을 사용하여 밀도 높은 국소 영역의 계층적 복원을 가능하게 한다.
• 모델은 국소 복원 손실(국소 구조에 대한)과 전반 복원 손실(형태 충실도에 대한)을 모두 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 깊이 있는 오토인코더가 점군의 국소 및 전반 구조를 더 효과적으로 함께 학습할 수 있는가?
• RQ2 계층적 자기주의가 중요한 점, 척도 및 영역을 강조함으로써 특징 추상화를 어떻게 향상시키는가?
• RQ3 RNN 기반 디코더는 다중 척도 국소 복원의 순차적 특성을 효과적으로 모델링하여 전반적 형태 생성에 기여하는가?
• RQ4 국소-전반 복원 전략이 점군 분류, 검색 및 업샘플링 성능 향상에 어느 정도 기여하는가?
• RQ5 지표 없이 국소 복원을 활용하여 비지도 업샘플링을 효과적으로 달성할 수 있는가?

주요 결과

• L2G-AE는 ModelNet10 및 ModelNet40 벤치마크에서 최신 기술 수준의 방법들을 능가하는 경쟁력 있는 성능을 보이며, 형태 분류 및 검색에서 뛰어난 성능을 달성한다.
• 비지도 점군 업샘플링에서 뛰어난 일반화 능력을 보이며, 희소 입력(625점)으로부터 국소적으로 복원된 결과를 다운샘플링하여 밀도 높은 점군을 생성한다.
• 정량적 결과에서 L2G-AE는 업샘플링 시 ModelNet10에서 평균 카프먼 거리(mCD) 0.0028을 기록하여, 훈련 중 지표 없이도 PU-Net 및 EC-Net과 같은 지도 학습 방법과 유사한 성능을 달성한다.
• 주의 맵의 시각화 결과는 모델이 가장 두드러진 국소 영역, 즉 가장자리, 모서리 및 돌출된 부분에 집중하고 있음을 확인하여 효과적인 주목 학습이 이루어졌음을 입증한다.
• 척도 수준의 주목 기반 메커니즘은 네 번째 척도에서 더 높은 주목도를 보이며, 더 풍부한 국소 구조 정보를 포함하고 있음을 확인하여 모델이 정보가 풍부한 척도를 우선순위로 삼는 능력을 입증한다.
• 점 수준의 주목 시각화 결과는 네트워크가 각 국소 영역 내에서 핵심 점들만 선택적으로 주목하고 있음을 보여주며, 정밀한 국소 패턴 포착이 가능하다.