[논문 리뷰] Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning

Huan Fu, Shunming Li외 4명|arXiv (Cornell University)|2020. 10. 23.

Image Retrieval and Classification Techniques인용 수 6

한 줄 요약

이 논문은 교차 도메인 3D 형태 검색에서 무늬 변동의 간섭을 줄이기 위해 무늬 합성 기반으로 하드 음성 트리플릿을 생성하는 기하학적 특징에 중점을 둔 다중 시점 거리 학습 프레임워크를 제안한다. 3D 모델에 무늬를 합성하여 도전적인 훈련 샘플을 생성함으로써 기하학적 특성에 대한 특징 학습을 향상시켜 3D-FUTURE, Pix3D, Stanford Cars 및 Comp Cars 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Image-based 3D shape retrieval (IBSR) aims to find the corresponding 3D shape of a given 2D image from a large 3D shape database. The common routine is to map 2D images and 3D shapes into an embedding space and define (or learn) a shape similarity measure. While metric learning with some adaptation techniques seems to be a natural solution to shape similarity learning, the performance is often unsatisfactory for fine-grained shape retrieval. In the paper, we identify the source of the poor performance and propose a practical solution to this problem. We find that the shape difference between a negative pair is entangled with the texture gap, making metric learning ineffective in pushing away negative pairs. To tackle this issue, we develop a geometry-focused multi-view metric learning framework empowered by texture synthesis. The synthesis of textures for 3D shape models creates hard triplets, which suppress the adverse effects of rich texture in 2D images, thereby push the network to focus more on discovering geometric characteristics. Our approach shows state-of-the-art performance on a recently released large-scale 3D-FUTURE[1] repository, as well as three widely studied benchmarks, including Pix3D[2], Stanford Cars[3], and Comp Cars[4]. Codes will be made publicly available at: https://github.com/3D-FRONT-FUTURE/IBSR-texture

연구 동기 및 목표

• 형태와 무늬의 혼합된 차이로 인해 미세한 구분이 어려운 3D 형태 검색에서 거리 학습의 성능이 떨어지는 문제를 해결하기 위해.
• 2D 이미지 내의 무늬 변동이 임bedding 공간 학습에 악영향을 미치는 것을 줄이기 위해.
• 3D 형태에 무늬를 합성하여 기하학적 특징을 강조하는 하드 트리플릿을 생성하는 방법을 개발하기 위해.
• 외관이 아닌 기하학적 특징에 중점을 두어 교차 도메인 형태 유사도 학습을 향상시키기 위해.

제안 방법

• 기본 2D 이미지에서 유도된 무늬 코드를 기반으로 3D 모델에 새로운 무늬를 할당하기 위해 조건부 생성 적대적 네트워크(cGAN)를 훈련한다.
• 기본 이미지와 일치하는 무늬를 양성 3D 형태에 할당하고, 무작위로 일치하지 않는 무늬를 음성 3D 형태에 할당하여 하드 트리플릿을 생성한다.
• 각 3D 형태의 12개의 렌더링된 표면 법선 시야에서 특징을 통합하는 다중 시점 거리 학습 프레임워크를 사용한다.
• 2D 쿼리 이미지의 의미적으로 두드러진 영역에서 특징을 강화하기 위해 시각적 중요도 주의 메커니즘을 적용한다.
• 시야각 변화에 민감도를 줄이기 위해 다중 시점 임베딩 통합을 안내하는 시야각 주의 정책을 도입한다.
• 프레임워크는 마스크 주의 메커니즘과 시야각 가이던스 손실을 통합하여 모델의 강인성과 형태에 대한 특징 집중도를 향상시킨다.

실험 결과

연구 질문

• RQ1 2D 이미지 내의 무늬 변동이 교차 도메인 3D 형태 검색을 위한 거리 학습에 어떻게 간섭하는가?
• RQ2 합성된 무늬 생성이 무늬 관련 방해 요소를 억제하는 데 효과적으로 하드 음성 예외를 생성할 수 있는가?
• RQ3 기하학적 특징에 중점을 둔 거리 학습 프레임워크는 미세한 형태 벤치마크에서 검색 성능을 얼마나 향상시킬 수 있는가?
• RQ4 주의 메커니즘과 시야각 가이던스는 시야각 및 배경 변화에 대한 강인성에 어떻게 기여하는가?
• RQ5 제안된 방법은 실내 및 실외 환경을 포함한 다양한 벤치마크에 일반화 가능한가?

주요 결과

• 제안된 방법은 3D-FUTURE 벤치마크에서 Top-1@R 69.1%를 기록하여 새로운 최신 기술 수준을 수립했다.
• Pix3D에서 기준 모델 대비 Top-1@R가 12.8% 향상되어 강력한 일반화 능력을 입증했다.
• 시각적 중요도 주의 메커니즘만으로도 기준 모델 대비 성능이 7.7% 향상되어 그 효과를 입증했다.
• 시야각 가이던스 메커니즘은 평균 풀링(66.1%)과 최대 풀링(64.7%)을 능가하여 Top-1@R 69.1%를 달성했다.
• 모델는 시야각 편향에 대해 강인성을 보이며, 훈련 데이터가 앞면 시야를 선호하더라도 높은 성능을 유지했다.
• 제거 분석 결과, 무늬 합성과 주의 메커니즘 모두 무늬 간섭 억제 및 기하학적 특징 학습 향상에 필수적임을 확인했다.