[논문 리뷰] WarpNet: Weakly Supervised Matching for Single-view Reconstruction

Angjoo Kanazawa, David W. Jacobs외 1명|arXiv (Cornell University)|2016. 04. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 34

한 줄 요약

이 논문은 부분 레이블이 없이 종류와 자세 변화가 큰 미세 분류 데이터셋에서 객체 간 매칭을 학습할 수 있는 약한 지도 학습 기반 딥 러닝 프레임워크인 WarpNet을 제안한다. 분할된 실루엣에 대한 예시 TPS 변환을 통해 생성된 인위적 대응 관계를 활용하여, 공간 왜곡을 예측함으로써 공간 우선 정보를 제공함으로써, 감독 학습 방법과 유사한 높은 정확도의 매칭과 단일 뷰 복원을 가능하게 한다. CUB-200-2011에서 외관 전용 네트워크 대비 13.6%의 AP 향상을 달성한다.

ABSTRACT

We present an approach to matching images of objects in fine-grained datasets without using part annotations, with an application to the challenging problem of weakly supervised single-view reconstruction. This is in contrast to prior works that require part annotations, since matching objects across class and pose variations is challenging with appearance features alone. We overcome this challenge through a novel deep learning architecture, WarpNet, that aligns an object in one image with a different object in another. We exploit the structure of the fine-grained dataset to create artificial data for training this network in an unsupervised-discriminative learning approach. The output of the network acts as a spatial prior that allows generalization at test time to match real images across variations in appearance, viewpoint and articulation. On the CUB-200-2011 dataset of bird categories, we improve the AP over an appearance-only network by 13.6%. We further demonstrate that our WarpNet matches, together with the structure of fine-grained datasets, allow single-view reconstructions with quality comparable to using annotated point correspondences.

연구 동기 및 목표

• 미세 분류 데이터셋에서 큰 외관, 자세, 관절 변화가 있는 객체 간 매칭 문제를 해결하기 위해 비용이 많이 드는 부분 레이블이 필요 없이 해결하고자 한다.
• 약한 지도 학습 데이터로부터 공간 대응 우선 정보를 학습하는 딥 러닝 프레임워크를 개발하여 실제 이미지 매칭으로의 일반화를 가능하게 하고자 한다.
• 이미지 수준의 구조와 학습된 공간 우선 정보만을 사용하여 수동 키포인트 레이블 없이 약한 지도 학습 기반 단일 뷰 3D 복원을 가능하게 하고자 한다.
• WarpNet가 예측한 왜곡이 수동으로 레이블이 부여된 부분 대응 관계를 사용한 감독 학습 방법과 거의 동일한 복원 품질을 달성할 수 있음을 입증하고자 한다.

제안 방법

• WarpNet는 두 장의 이미지를 입력으로 받아 객체 간 대응 점을 정렬하기 위해 투명판 스퍼링(Thin-plate Spline, TPS) 변환을 예측하는 시아모이 CNN 아키텍처이다.
• 인위적 훈련 데이터는 CUB-200-2011와 같은 미세 분류 데이터셋의 자세 그래프에서 유도된 TPS 변환을 사용하여, 알려진 바운딩 박스와 세그멘테이션에서 얻은 실루엣을 기반으로 생성된다.
• 점 변환기 레이어를 [14]의 영감을 받아 사용하여, 원본 이미지와 왜곡된 타겟 이미지 간의 정렬을 최적화하는 방식으로 비지도-구분 학습 방식으로 네트워크를 훈련시킨다.
• 출력된 왜곡은 추론 시 외관과 형태 변화에 대응하는 매칭을 안내하는 공간 우선 정보로 기능한다.
• 복원을 위해, WarpNet의 매칭 결과는 자세 그래프 구조를 기반으로 데이터셋 전반에 걸쳐 전파되며, 공간 우선 정보를 사용하여 수동 키포인트 레이블 없이 단일 이미지에서 3D 형태를 복원한다.
• 후처리로 xy-스냅핑을 수행하여 x와 y 좌표를 고정하고 오직 z-깊이만 사용함으로써 복원 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 부분 레이블 없이 종류와 자세 변화가 큰 객체 간 매칭을 학습할 수 있는가?
• RQ2 미세 분류 데이터셋에서 예시 TPS 변환을 통해 생성된 인위적 대응 관계가 실제 이미지 매칭으로의 일반화를 위해 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ3 이러한 네트워크가 예측한 공간 왜곡이 수동 레이블 없이도 고품질의 단일 뷰 3D 복원을 가능하게 하는 강력한 공간 우선 정보로 기능할 수 있는가?
• RQ4 인위적 데이터 생성 시 변환 유형(예: TPS 대비 애핀)의 선택이 학습된 매칭 네트워크 성능에 미치는 영향은 어떠한가?

주요 결과

• WarpNet는 CUB-200-2011 데이터셋에서 외관 변화와 자세 변화 간 매칭 시 기준 ILSVRC CNN 대비 평균 정밀도(AP)에서 13.6% 향상된 성능을 기록한다.
• 정밀도와 재현율 모두에서 애핀 변환을 사용해 훈련한 AffineNet 버전과 VGG-M conv4 기준선보다 뛰어나며, 특히 고정밀도 임계값에서 두드러진 성능 향상을 보인다.
• WarpNet의 매칭 결과를 사용해 생성된 복원 결과는 외관 전용 특징이나 비지도 기반 기준선인 변형 가능한 공간 피라미드(DSP)보다 감독 학습 방법을 사용한 결과와 시각적·정량적으로 더 유사하다.
• 예시 TPS 변환을 데이터 생성에 활용하는 것이 핵심적이다. 애핀 변환을 사용해 훈련한 AffineNet는 WarpNet보다 성능이 열 劣하므로, 비선형 왜곡이 복잡한 형태 변화를 모델링하는 데 필수적임을 시사한다.
• WarpNet는 꼬리와 날개와 같은 관절 부위를 일관된 깊이로 성공적으로 복원하는 반면, VGG-M과 DSP 기준선은 종종 노이즈가 많거나 이상치에 민감한 복원 결과를 생성한다.
• 이 방법은 감독 학습 기반 접근 방식과 거의 동일한 품질로 새롭게 단일 뷰 복원을 가능하게 하여, 미세 분류 데이터셋에서 약한 지도 학습 기반 3D 복원의 실현 가능성을 입증한다.