[논문 리뷰] Semantic Correspondence via 2D-3D-2D Cycle

Yang You, Chengkun Li외 5명|arXiv (Cornell University)|2020. 04. 20.

3D Shape Modeling and Analysis참고 문헌 65인용 수 6

한 줄 요약

이 논문은 3D 복원과 미분 가능 렌더링을 활용하여 자가 음영과 가시성을 명시적으로 모델링함으로써 2D 의미적 매칭을 향상시키는 2D-3D-2D 사이클 프레임워크를 제안한다. 단일 RGB 이미지에서 3D 형태를 예측하고, 의미 레이블을 다시 2D로 투영하며, 미분 가능 렌더링을 통해 예측된 카메라 자세를 보정함으로써 PF-PASCAL 및 SPair-71k와 같은 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 이전의 2D 전용 방법들을 능가한다.

ABSTRACT

Visual semantic correspondence is an important topic in computer vision and could help machine understand objects in our daily life. However, most previous methods directly train on correspondences in 2D images, which is end-to-end but loses plenty of information in 3D spaces. In this paper, we propose a new method on predicting semantic correspondences by leveraging it to 3D domain and then project corresponding 3D models back to 2D domain, with their semantic labels. Our method leverages the advantages in 3D vision and can explicitly reason about objects self-occlusion and visibility. We show that our method gives comparative and even superior results on standard semantic benchmarks. We also conduct thorough and detailed experiments to analyze our network components. The code and experiments are publicly available at https://github.com/qq456cvb/SemanticTransfer.

연구 동기 및 목표

• 2D 전용 의미적 매칭 방법이 자가 음영과 공간적 관계를 명시적으로 모델링하지 못하는 한계를 해결하기 위해.
• 대규모 2D 이미지 데이터셋에 대한 의존도를 줄이기 위해 3D 모델 애너테이션과 합성 2D 렌더링을 활용하기 위해.
• 3D 기하학과 가시성에 대해 명시적인 추론을 통해 의미적 매칭의 강건성과 해석 가능성 향상을 위해.
• 3D 중간 표현이 종단 간 2D 학습에 비해 우수하거나 경쟁 가능한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• Wu 등 [57]의 영감을 받은 3D 복원 헤드를 사용하여 단일 RGB 이미지에서 3D 형태와 의미 레이블을 예측한다.
• 2D 이미지에서 직접 카메라 시점 예측을 수행하고, KeypointNet [62]에서 훈련된 3D 의미 예측 모델을 사용하여 3D 점에 의미 레이블을 할당한다.
• 2D 지도에서 역전파하여 3D-2D 투영 정확도를 향상시키기 위해 예측된 카메라 자세를 보정하기 위해 미분 가능 렌더러를 사용한다.
• 파이프라인은 2D 이미지 → 3D 형태 → 3D 의미 레이블 → 투영된 2D 의미 맵으로의 2D-3D-2D 전이를 수행한다.
• 성능 분리 분석을 위해 추론 성능를 고려하기 위해 지표 2.5D 스케치(윤곽선, 깊이, 법선)와 3D 모델을 사용한다.
• 3D 모델에서 유도된 가상의 2D 이미지 생성을 통해 데이터 의존도를 줄이고, 3D 모델 애너테이션만으로도 훈련 가능하게 한다.

실험 결과

연구 질문

• RQ1 2D 전용 방법보다 명시적인 3D 추론이 자가 음영과 가시성을 더 정확히 모델링함으로써 2D 의미적 매칭을 향상시킬 수 있는가?
• RQ2 정확도와 일반화 능력 측면에서 종단 간 2D 학습과 비교할 때 2D-3D-2D 사이클 파이프라인은 어떻게 성능을 내는가?
• RQ3 3D 복원, 시점 추정, 미분 가능 렌더링 등의 개별 구성 요소가 최종 성능에 얼마나 기여하는가?
• RQ4 합성 데이터셋(예: ShapeNet)과 실세계 데이터셋(예: Pix3D) 간 도메인 스위치가 방법의 강건성에 어떤 영향을 미치는가?

주요 결과

• PF-PASCAL 벤치마크에서 자동차의 경우 α_img=0.1일 때 PCK가 0.574를 기록하고, 항공기의 경우 0.440을 기록하며, HPF 및 A2Net와 같은 SOTA 방법들을 능가한다.
• SPair-71k에서 자동차의 경우 PCK가 0.500, 항공기의 경우 0.390을 기록하여 이전 접근 방식보다 일관되게 뛰어난 성능을 보였다.
• 예측된 시점을 진짜 값으로 교체하면 PCK가 8.2% 향상되며, 카메라 자세 추정이 여전히 핵심적 한계임을 시사한다.
• 진짜 3D 모델과 의미 레이블을 사용할 경우 PF-PASCAL에서 자동차의 PCK는 0.647에 도달하여, 정확한 3D 단계가 매우 효과적임을 보여준다.
• 성능 분석 결과, 모든 구성 요소를 포함한 2D-3D-2D 파이프라인이 Pix3D(의자, α_img=0.1)에서 PCK 0.560을 기록하며, 2D 전용 기준선보다 뚜렷이 뛰어난 성능을 보였다.
• 합성 데이터셋보다 실세계 데이터에 더 잘 일반화되며, ShapeNet 합성 데이터셋보다 Pix3D에서 더 높은 성능을 보였다. 이는 더 현실적인 카메라 분포 때문일 것이다.