[논문 리뷰] Sketch-based 3D Shape Retrieval using Convolutional Neural Networks

Fang Wang, Le Kang외 1명|arXiv (Cornell University)|2015. 04. 14.

3D Shape Modeling and Analysis참고 문헌 20인용 수 129

한 줄 요약

이 논문은 스케치 기반 3D 모델 검색 방법을 제안하며, 주관적인 '최고의 시점' 선택이 필요 없도록 각 3D 모델에 대해 고정된 두 개의 시점만을 사용하고, 스케치와 시점에 대해 두 개의 시amese 컨volution 신경망(CNN)을 통해 깊이 특징을 학습한다. 이 방법은 공통 손실 함수를 통해 교차 도메인 유사도를 학습함으로써 세 가지 벤치마크 데이터셋에서 최신 기술보다 뛰어난 성능을 내며, 정밀도, 재현율 및 mAP 모든 지표에서 뛰어난 성능을 달성한다.

ABSTRACT

Retrieving 3D models from 2D human sketches has received considerable attention in the areas of graphics, image retrieval, and computer vision. Almost always in state of the art approaches a large amount of "best views" are computed for 3D models, with the hope that the query sketch matches one of these 2D projections of 3D models using predefined features. We argue that this two stage approach (view selection -- matching) is pragmatic but also problematic because the "best views" are subjective and ambiguous, which makes the matching inputs obscure. This imprecise nature of matching further makes it challenging to choose features manually. Instead of relying on the elusive concept of "best views" and the hand-crafted features, we propose to define our views using a minimalism approach and learn features for both sketches and views. Specifically, we drastically reduce the number of views to only two predefined directions for the whole dataset. Then, we learn two Siamese Convolutional Neural Networks (CNNs), one for the views and one for the sketches. The loss function is defined on the within-domain as well as the cross-domain similarities. Our experiments on three benchmark datasets demonstrate that our method is significantly better than state of the art approaches, and outperforms them in all conventional metrics.

연구 동기 및 목표

• 스케치 기반 3D 모델 검색에서 '최고의 시점' 선택의 불안정성과 주관성을 해결하기 위해.
• 스케치와 3D 모델 시점에 대한 구분 가능한 표현을 학습함으로써 수작업 특징에 의존하지 않기 위해.
• 2D 스케치와 3D 모델 투영 간의 교차 도메인 매칭을 공통 특징 학습과 유사도 정렬을 통해 향상시키기 위해.
• 심층 특징 학습과 결합된 최소한의 시점 선택(오직 두 방향)이 복잡한 다중 시점 전략을 능가할 수 있음을 보여주기 위해.
• 시amese CNN이 도메인 특화 아키텍처를 갖추어 교차 도메인 모양 검색에 효과적인지 검증하기 위해.

제안 방법

• 각 3D 모델에 대해 고정된 두 개의 상당히 다른 시점을 사용하여 복잡한 '최고의 시점' 선택 과정을 대체한다. 이때 모델은 수직 방향으로 정렬되어 있다고 가정한다.
• 스케치 전용과 3D 모델 시점 전용으로 별도의 시amese CNN을 사용하며, 각각 도메인 특화 아키텍처를 갖추어 내재적 차이를 포착한다.
• 내부 도메인 유사도(스케치-스케치, 시점-시점)와 교차 도메인 유사도(스케치-시점)를 높이도록 유도하는 공동 손실 함수를 정의한다.
• 유클리드 거리가 직접적으로 유사도를 측정할 수 있는 공통 임bedding 공간에서 공유된 특징 표현을 학습한다.
• 약한 지도 학습을 사용하여 네트워크를 엔드 투 엔드로 훈련하며, 추론 시에는 쌍으로 지정된 스케치-시점 애너테이션 필요 없이도 된다.
• 계산 비용을 줄이고 임의의 시점 선택에 대한 과적합을 방지하기 위해 최소화 원칙을 적용한다.

실험 결과

연구 질문

• RQ1 주관적이고 모호한 '최고의 시점' 선택 단계를 제거함으로써 스케치 기반 3D 모델 검색 성능을 향상시킬 수 있는가?
• RQ2 시amese CNN을 사용한 심층 특징 학습이 스케치와 3D 모델 투영 간 매칭에서 수작업 특징을 능가할 수 있는가?
• RQ3 각 3D 모델에 대해 고정된 두 시점만을 사용해도 효과적인 검색이 가능한가, 특히 학습된 특징과 결합했을 경우?
• RQ4 내부 도메인 및 교차 도메인 유사도를 정렬하는 공동 손실 함수가 더 나은 일반화 및 검색 성능을 이끌 수 있는가?
• RQ5 제안된 방법의 성능가 최신 기술 대비 여러 벤치마크 데이터셋에서 어떻게 비교되는가?

주요 결과

• SHREC’13 벤치마크에서 제안된 방법은 평균 평균 정밀도(mAP) 0.469를 달성하여, 두 번째로 좋은 방법(0.434)과 표 3에 나열된 모든 다른 방법보다 뚜렷이 뛰어나다.
• SHREC’13에서 저조회율 조건에서 최신 기술 대비 10% 성능 향상을 보이며, 재현율 증가에 따라 정밀도 감소가 훨씬 느리게 나타나, 뛰어난 안정성을 보여준다.
• SHREC’14에서 mAP 0.228을 기록하여, 다음으로 좋은 방법(0.131)보다 75% 높은 성능을 내어, 다양한 데이터셋에서 일관된 슈퍼리어리티를 입증한다.
• 내부 도메인 스케치 검색의 경우 mAP 0.373를 기록하여 스케치의 일관성 부족이 여전히 주요 과제임을 시사하지만, 모델이 의미 있는 표현을 학습하고 있음을 확인한다.
• 내부 도메인 시점 검색의 경우 mAP 0.909를 기록하여, 학습된 특징이 시점 기반 검색에 매우 효과적임을 보여주며, 모델의 강건성을 확인한다.
• 제거 분석 결과, 두 도메인에 동일한 시amese 네트워크를 사용할 경우 제안된 도메인 특화 아키텍처보다 성능이 열 劣하므로, 각 도메인 별 별도의 특징 학습이 필요함을 검증한다.