[논문 리뷰] 3DViewGraph: Learning Global Features for 3D Shapes from A Graph of Unordered Views with Attention

Zhizhong Han, Xiyang Wang외 4명|arXiv (Cornell University)|2019. 05. 17.

3D Shape Modeling and Analysis참고 문헌 20인용 수 9

한 줄 요약

3DViewGraph는 주어진 다중 시점 이미지의 순서에 관계없이 주목사용을 통해 효과적으로 정보를 집계함으로써 글로벌 3D 형상 특징을 학습하는 새로운 그래프 기반 딥러닝 프레임워크를 제안한다. 모든 노드가 상호 연결된 완전히 연결된 그래프에서 시점을 노드로 모델링하고, 잠재적 의미 맵핑과 공간 패턴 상관관계를 통해 콘텐츠 및 공간적 관계를 인코딩함으로써, 세 개의 대규모 벤치마크에서 3D 형상 분류 및 검색 작업에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Learning global features by aggregating information over multiple views has been shown to be effective for 3D shape analysis. For view aggregation in deep learning models, pooling has been applied extensively. However, pooling leads to a loss of the content within views, and the spatial relationship among views, which limits the discriminability of learned features. We propose 3DViewGraph to resolve this issue, which learns 3D global features by more effectively aggregating unordered views with attention. Specifically, unordered views taken around a shape are regarded as view nodes on a view graph. 3DViewGraph first learns a novel latent semantic mapping to project low-level view features into meaningful latent semantic embeddings in a lower dimensional space, which is spanned by latent semantic patterns. Then, the content and spatial information of each pair of view nodes are encoded by a novel spatial pattern correlation, where the correlation is computed among latent semantic patterns. Finally, all spatial pattern correlations are integrated with attention weights learned by a novel attention mechanism. This further increases the discriminability of learned features by highlighting the unordered view nodes with distinctive characteristics and depressing the ones with appearance ambiguity. We show that 3DViewGraph outperforms state-of-the-art methods under three large-scale benchmarks.

연구 동기 및 목표

• 다양한 순서가 없는 3D 형상 시점에서의 뷰 풀링 기법의 한계를 해결하여 콘텐츠 및 공간적 관계 정보를 손실 없이 유지한다.
• 내부 뷰 콘텐츠와 뷰 간 공간적 관계를 모두 유지함으로써 글로벌 3D 형상 특징의 판별 능력을 향상시킨다.
• 명시적인 뷰 순서 또는 클러스터링에 의존하지 않고 순서가 없는 뷰를 집계할 수 있는 학습 가능한 메커니즘을 개발한다.
• 유의미한 뷰를 강조하고 모호한 뷰를 억제하는 새로운 주목 기반 메커니즘을 도입하여 더 나은 특징 표현을 가능하게 한다.
• 콘텐츠 인식 및 공간적으로 민감한 노드 간 상호작용을 고려한 그래프로 뷰를 모델링함으로써 효과적인 글로벌 특징 학습을 가능하게 한다.

제안 방법

• 3D 형상의 다수의 순서가 없는 2D 뷰를 완전히 연결된 뷰 그래프의 노드로 표현하며, 각 뷰가 노드이고 모든 노드가 상호 연결된다.
• 학습된 커널 함수를 사용해 저수준 뷰 특징을 잠재적 의미 패턴과 유사도를 캡처하는 방식으로 낮은 차원의 공간으로 매핑하는 새로운 잠재적 의미 맵핑을 적용한다.
• 각 뷰 노드 쌍 간의 콘텐츠 및 공간적 관계를 그들의 잠재적 의미 임베딩을 사용해 인코딩하는 공간 패턴 상관관계 메커니즘을 도입한다.
• 동적 주목 가중치를 계산하여 뷰 쌍 간의 주목을 수행하는 새로운 그래프 주목 기반 메커니즘을 활용하며, 정보가 많은 뷰를 강조하고 모호한 뷰를 억제한다.
• 학습된 주목 가중치를 사용해 모든 공간 패턴 상관관계를 집계하여 최종적으로 고도로 판별 가능한 글로벌 3D 형상 특징 벡터를 생성한다.
• 대규모 3D 형상 벤치마크에서 표준 분류 및 검색 손실 함수를 사용해 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기존 풀링 기법에 비해 그래프 기반 주목 기반 메커니즘이 순서가 없는 2D 뷰를 효과적으로 집계하여 더 판별력 있는 글로벌 3D 형상 특징을 학습할 수 있는가?
• RQ2 학습된 잠재적 의미 공간이 전체 훈련 세트에 대한 명시적 탐색 없이도 저수준 뷰 특징에서 의미 있는 의미 패턴을 효과적으로 캡처할 수 있는가?
• RQ3 뷰 쌍 간의 콘텐츠 및 공간적 관계를 모두 인코딩할 경우, 공간적 구조를 忽시하는 방법에 비해 특징 품질이 얼마나 향상되는가?
• RQ4 주목 기반 뷰 선택이 고유한 특징을 지닌 뷰에 집중하고 모호한 뷰를 억제함으로써 특징의 판별 능력을 향상시킬 수 있는가?
• RQ5 표준 벤치마크 하에서 3DViewGraph는 3D 형상 분류 및 검색에서 최신 기술(SOTA) 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 3DViewGraph는 ModelNet40에서 테스트-테스트 분할 시 평균 정밀도(mAP) 90.54%를 기록했으며, ModelNet10에서는 92.40%를 달성하여 이전의 모든 SOTA 기법을 능가했다.
• ShapeNetCore55에서 3DViewGraph는 mAP 0.8492 및 NDCG@N 0.9054를 기록했으며, 두 번째로 우수한 성능을 낸 TACO 방법보다 mAP에서 10퍼센트 이상 높게 기록했다.
• 프린스턴 형상 벤치마크(PSB)에서 3DViewGraph는 기존의 그래프 기반 다중 시점 학습 방법보다 높은 정밀도와 재현율을 보이며 뛰어난 검색 성능을 입증했다.
• 시각적 분석 결과, 주목 기반 메커니즘이 정확히 가장 특징적인 뷰(예: 콘의 고유한 각도 또는 테이블의 특정 시점)를 식별하고 강조하는 것으로 확인되었으며, 모호한 뷰(예: 화장실의 앞면 직사각형)는 억제하고 있었다.
• 제거 실험 결과, 잠재적 의미 맵핑 또는 주목 기반 메커니즘을 제거할 경우 성능에 심각한 하락이 발생하여 이들이 핵심적인 역할을 한다는 점을 입증했다.
• 3DViewGraph는 다양한 설정에서 잘 일반화되며, ModelNet40에서 올-올 분할 시 98.75%의 mAP 성능을 기록하여 강력한 내성성 및 일반화 능력을 보였다.