[논문 리뷰] Parts4Feature: Learning 3D Global Features from Generally Semantic Parts in Multiple Views

Zhizhong Han, Xinhai Liu외 2명|arXiv (Cornell University)|2019. 05. 18.

3D Shape Modeling and Analysis참고 문헌 24인용 수 7

한 줄 요약

Parts4Feature는 공유 영역 제안 모듈과 다중 주의 메커니즘을 사용하여 다중 시각에서 일반적인 의미적 부품(GSPs)을 탐지함으로써 3D 전역 형상 특징을 학습하는 딥 신경망을 제안한다. 분할 데이터셋에서 얻은 부품 수준의 의미 정보를 활용하여 전역 특징의 구별 능력을 향상시킴으로써 ModelNet40, ModelNet10, ShapeNet55 벤치마크에서 최신 기법들을 능가한다.

ABSTRACT

Deep learning has achieved remarkable results in 3D shape analysis by learning global shape features from the pixel-level over multiple views. Previous methods, however, compute low-level features for entire views without considering part-level information. In contrast, we propose a deep neural network, called Parts4Feature, to learn 3D global features from part-level information in multiple views. We introduce a novel definition of generally semantic parts, which Parts4Feature learns to detect in multiple views from different 3D shape segmentation benchmarks. A key idea of our architecture is that it transfers the ability to detect semantically meaningful parts in multiple views to learn 3D global features. Parts4Feature achieves this by combining a local part detection branch and a global feature learning branch with a shared region proposal module. The global feature learning branch aggregates the detected parts in terms of learned part patterns with a novel multi-attention mechanism, while the region proposal module enables locally and globally discriminative information to be promoted by each other. We demonstrate that Parts4Feature outperforms the state-of-the-art under three large-scale 3D shape benchmarks.

연구 동기 및 목표

• 기존의 다중 시각 학습에서 부품 수준의 정보를 忽略하는 방법의 한계를 해결하기 위해.
• 분류 데이터에 부품 애너테이션을 요구하지 않고도 3D 분할 벤치마크에서의 부품 탐지 지식을 3D 분류 작업으로 전이할 수 있도록 하기 위해.
• 새로운 다중 주의 메커니즘을 사용하여 탐지된 의미적 부품을 집계함으로써 전역 특징의 구별 능력을 향상시키기 위해.
• 다중 시각에서의 부품 수준 정보가 3D 형상 분류 및 검색 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 다양한 3D 형상 분할 벤치마크에서 탐지 가능한 일반적인 의미적 부품(GSPs)의 새로운 정의를 제안한다.
• 국소 부품 탐지와 전역 특징 학습을 동시에 최적화하기 위해 공유 영역 제안 모듈을 갖춘 이중 브랜치 네트워크를 설계한다.
• GSPs를 다중 시각에서 탐지하고 국소화하기 위해 Fast R-CNN 기반의 브랜치를 활용한다.
• 전역 특징 학습 브랜치에 새로운 다중 주의 메커니즘을 적용하여 특징적인 부품 패턴을 강조하고 모호한 패턴은 억제한다.
• 풀링 연산으로 인한 정보 손실을 방지하기 위해 탐지된 의미적 부품 기반의 시각 수준 집합을 적용한다.
• 분할 데이터셋에서의 부품 탐지 지식을 전이하여 분류 데이터셋에서의 전역 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 시각에서의 부품 수준 의미 정보가 3D 전역 형상 특징의 구별 능력을 향상시킬 수 있는가?
• RQ2 3D 분할 벤치마크에서의 부품 탐지 지식을 3D 분류 작업으로 효과적으로 전이할 수 있는 딥 러닝 모델은 어떻게 설계할 수 있는가? 이때 분류 데이터에 부품 애너테이션이 필요하지 않다.
• RQ3 탐지된 의미적 부품을 집계하는 데 다중 주의 메커니즘을 사용할 경우 전역 특징 품질에 어떤 영향을 미치는가?
• RQ4 공유 영역 제안 모듈을 사용하면 국소 및 전역 특징 학습 간 상호 촉진을 통해 구별 가능한 정보를 더 잘 학습할 수 있는가?
• RQ5 표준 벤치마크 하에서 Parts4Feature는 최신 기법들과 비교해 3D 형상 분류 및 검색 성능에서 어떻게 성능을 내는가?

주요 결과

• ModelNet40에서 Parts4Feature는 96.15%의 top-1 정확도를 달성했으며, 비교된 모든 최신 기법들을 능가한다.
• ShapeNet55에서 Parts4Feature는 90.2의 마이크로 평균 mAP를 기록하여 SVSL 및 VIPG를 포함한 모든 이전 기법들을 능가한다.
• 분할된 형상의 1%만을 학습에 사용해도 ModelNet10에서 93.5%의 정확도를 달성하여 효과적인 지식 전이 능력을 입증한다.
• ModelNet10과 ShapeNet55의 혼동 행렬은 대각선 요소가 높은 편이므로, 모든 클래스에서 강력한 분류 성능를 보임을 나타낸다.
• ModelNet40 및 ModelNet10 기준의 정밀도-재현율 곡선 비교 결과, mAP가 각각 91.5와 93.8로 뛰어난 검색 성능를 확인하였다.
• 제거 실험 결과, 훈련 데이터가 제한된 상황에서도 부품 수준의 정보를 활용하면 성능 향상이 뚜렷하며, 더 많은 분할된 형상을 사용할수록 성능이 향상됨을 보였다.