[논문 리뷰] Learning Discriminative 3D Shape Representations by View Discerning Networks

Biao Leng, Cheng Zhang외 3명|arXiv (Cornell University)|2018. 08. 11.

3D Shape Modeling and Analysis참고 문헌 26인용 수 4

한 줄 요약

이 논문은 3D 모양 인식을 향상시키기 위해 다이나믹하게 뷰 품질을 평가하는 점수 생성 모듈을 통해 시야 품질을 평가하는 딥러닝 프레임워크인 View Discerning Network (VDN)을 제안한다. 이 모듈은 다중 시야 특징에 주의 가중치를 할당한다. 이 방법은 망각 및 혼잡한 조건에서도 정확도와 강인성을 향상시키며, ModelNet과 ShapeNet Core55에서 최신 기술을 능가한다. 수렴 속도는 빠르고 계산 비용은 감소한다.

ABSTRACT

In view-based 3D shape recognition, extracting discriminative visual representation of 3D shapes from projected images is considered the core problem. Projections with low discriminative ability can adversely influence the final 3D shape representation. Especially under the real situations with background clutter and object occlusion, the adverse effect is even more severe. To resolve this problem, we propose a novel deep neural network, View Discerning Network, which learns to judge the quality of views and adjust their contributions to the representation of shapes. In this network, a Score Generation Unit is devised to evaluate the quality of each projected image with score vectors. These score vectors are used to weight the image features and the weighted features perform much better than original features in 3D shape recognition task. In particular, we introduce two structures of Score Generation Unit, Channel-wise Score Unit and Part-wise Score Unit, to assess the quality of feature maps from different perspectives. Our network aggregates features and scores in an end-to-end framework, so that final shape descriptors are directly obtained from its output. Our experiments on ModelNet and ShapeNet Core55 show that View Discerning Network outperforms the state-of-the-arts in terms of the retrieval task, with excellent robustness against background clutter and object occlusion.

연구 동기 및 목표

• 실제 환경 조건인 배경 혼잡 및 물체 망각과 같은 상황에서 저품질 시야가 미치는 부정적 영향을 해결하기 위해.
• 특징 집합 과정 중에 정보가 풍부한 시야를 자동으로 평가하고 우선순위를 정할 수 있는 데이터 기반의 엔드 투 엔드 학습 가능한 네트워크를 개발하기 위해.
• 표준 최대 풀링 대신 품질 인식 특징 가중치를 사용하여 다중 시야 3D 모양 표현 학습의 효율성과 강인성을 향상시키기 위해.
• 균일하게 많은 수의 시야를 샘플링하는 대신, 더 적은 수의 고품질 시야로 효과적인 인식이 가능하도록 하여 계산 비용을 줄이기 위해.

제안 방법

• 네트워크는 특징 맵에서 유도된 점수 벡터를 사용하여 각 투영된 2D 시야의 품질을 평가하는 점수 생성 모듈을 도입한다.
• 두 가지 유형의 점수 생성 모듈이 제안된다: 채널 기반 점수 유닛과 부분 기반 점수 유닛으로, 각각 다른 관점에서 특징 맵을 평가한다.
• 점수 벡터는 각 시야의 CNN 임bedded 특징에 가중치를 적용하여 정보가 풍부한 시야를 강조하는 가중치 특징 표현을 생성한다.
• 이 가중치 특징은 엔드 투 엔드 방식으로 집계되어 직접적으로 구분력 있는 3D 모양 기술자(디스크립터)를 생성한다.
• 점수 생성 모듈은 주 네트워크와 함께 훈련되어 역전파를 통해 특징 추출과 시야 품질 평가를 동시에 개선할 수 있도록 한다.
• 실제 도전 과제를 시뮬레이션하기 위해 망각된 이미지를 포함한 수정된 ShapeNet Core55 데이터셋을 사용하여 방법을 평가한다.

실험 결과

연구 질문

• RQ1 망각 및 혼잡과 같은 실제 환경 조건에서 개별 시야의 품질이 다중 시야 3D 모양 인식 성능에 미치는 영향은 어떠한가?
• RQ2 학습 가능한 주목 유사 메커니즘이 고품질 시야를 선택적으로 강조함으로써 특징 집합을 향상시킬 수 있는가?
• RQ3 더 적은 수의 고품질 시야가 균일하게 샘플링된 시야들로 대체될 수 있는 정도는 어느 정도이며, 이로 인해 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 표준 최대 풀링 대비 점수 기반 가중치 부여 메커니즘이 강인성과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 복잡하거나 모호한 형태에서 시야 품질 평가 메커니즘의 실패 모드는 무엇인가?

주요 결과

• 단지 10개의 고품질 시야만으로도 균일하게 샘플링된 64개의 시야보다 더 높은 인식 성능를 달성하여, 시야 품질의 핵심적 역할을 입증했다.
• View Discerning Network는 ModelNet과 ShapeNet Core55 벤치마크에서 최신 기술을 능가했으며, 특히 망각 및 혼잡 조건에서 뛰어난 성능을 보였다.
• 훈련 중 손실 곡선을 통해 점수 생성 모듈을 사용할 경우 더 빠르고 안정적인 수렴을 확인하여 훈련 효율성이 향상됨을 입증했다.
• 더 적은 수의 시야로도 높은 정확도를 유지하면서 효과적인 인식이 가능해져 계산 비용을 감소시켰다.
• 부분 기반 점수 유닛은 복잡한 식물 모델과 더 큰 물체 위에 놓인 기타 모델에서 좋은 시야를 인식하지 못했으며, 이는 콘텐츠 무시 블록 분할과 배경-전경 혼동 때문이었다.
• 식물 모델의 정확도는 망각된 ModelNet40 데이터셋에서 약 45%로 떨어졌으며, 이는 고복잡도 및 혼잡한 환경에서의 처리에 대한 주요 한계를 보여준다.