[논문 리뷰] Neural Best-Buddies: Sparse Cross-Domain Correspondence

Kfir Aberman, Jing Liao외 4명|arXiv (Cornell University)|2018. 05. 10.

Advanced Vision and Imaging참고 문헌 51인용 수 12

한 줄 요약

이 논문은 사전 훈련된 CNN에서 추출한 계층적 딥 특징을 활용하여 서로 다른 의미적 카테고리의 이미지 간에 의미적으로나 기하학적으로 유사한 부분을 찾는 새로운 희소 cross-domain 대응 방법인 Neural Best-Buddies(NBB)를 제안한다. 계층적 특징 간 상호 최근접 이웃(최고 친구)을 계산하고, 공간적 위치를 굵게부터 미세하게까지 정제하면서 국소적 스타일 전이를 적용하여 외관 정렬을 수행함으로써, NBB는 도전적인 cross-domain 환경에서도 강력한 대응을 달성하여 이미지 모핑 및 높은 정확도의 하이브리드 이미지 생성과 같은 응용을 가능하게 한다.

ABSTRACT

Correspondence between images is a fundamental problem in computer vision, with a variety of graphics applications. This paper presents a novel method for sparse cross-domain correspondence. Our method is designed for pairs of images where the main objects of interest may belong to different semantic categories and differ drastically in shape and appearance, yet still contain semantically related or geometrically similar parts. Our approach operates on hierarchies of deep features, extracted from the input images by a pre-trained CNN. Specifically, starting from the coarsest layer in both hierarchies, we search for Neural Best Buddies (NBB): pairs of neurons that are mutual nearest neighbors. The key idea is then to percolate NBBs through the hierarchy, while narrowing down the search regions at each level and retaining only NBBs with significant activations. Furthermore, in order to overcome differences in appearance, each pair of search regions is transformed into a common appearance. We evaluate our method via a user study, in addition to comparisons with alternative correspondence approaches. The usefulness of our method is demonstrated using a variety of graphics applications, including cross-domain image alignment, creation of hybrid images, automatic image morphing, and more.

연구 동기 및 목표

• 형태와 외관이 크게 다른 객체를 포함한 서로 다른 의미적 도메인에서 온 이미지 간의 희소 대응 문제를 해결하기 위해.
• 그러한 이미지 쌍 간에 의미적으로 관련 있거나 기하학적으로 유사한 부분을 식별하기 위해.
• 정확하고 강력한 대응을 위해 계층적 딥 특징을 활용하는 coarse-to-fine 프레임워크를 개발하기 위해.
• 공통 외관 공간으로의 변환을 통해 도메인 간 외관 차이를 극복하기 위해.
• 이미지 모핑, 정렬, 하이브리드 이미지 생성과 같은 실용적인 그래픽 응용을 가능하게 하기 위해.

제안 방법

• 방법은 사전 훈련된 CNN에서 추출한 계층적 특징 맵에서 상호 최근접 이웃인 Neural Best-Buddies(NBBs)를 계산한다.
• NBBs를 굵은 층에서부터 미세 층으로 전파하면서 이전 층의 수신장 제약 조건을 이용해 공간적 위치를 정밀하게 조정한다.
• 각 층마다 정규화된 활성도 맵을 계산하여 높은 활성도 값을 기반으로 NBBs를 필터링함으로써 의미 있는 특징만 유지한다.
• 인스턴스 정규화 기반 스타일 전이를 통해 국소적 외관 정합을 달성하며, 해당 영역의 평균과 표준편차를 공통 외관으로 통합한다.
• 교차 도메인 환경에서 신뢰할 수 있는 패치 상관관계를 가능하게 하기 위해 특징 통계의 하이브리드를 사용하는 유사도 측정 기준을 도입한다.
• 계층적 정밀 조정을 통해 최종 대응 점들을 픽셀 수준 해상도로 국소화한다.

실험 결과

연구 질문

• RQ1 계층적 딥 특징에서의 상호 최근접 이웃 매칭이 서로 다른 의미적 도메인에서 온 이미지 간에 강력한 희소 대응을 가능하게 하는가?
• RQ2 다른 도메인의 이미지 간의 외관 차이를 어떻게 완화시켜 대응 정확도를 향상시킬 수 있는가?
• RQ3 NBBs의 coarse-to-fine 정밀 조정이 주목할 만한 이미지 특징에서의 국소화 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 이 방법은 이미지 모핑 및 하이브리드 이미지 생성과 같은 다양한 그래픽 응용에 일반화될 수 있는가?
• RQ5 국소적 스타일 전이를 통해 공통 외관 공간을 도입할 경우, 기존 상관관계 기반 방법에 비해 대응 품질은 어떻게 향상되는가?

주요 결과

• 제안된 NBB 방법은 기존 기준 방법에 비해, 특히 형태와 외관의 차이가 큰 경우에 cross-domain 환경에서 뛰어난 대응 정확도를 달성한다.
• 국소적 스타일 전이를 통한 공통 외관 공간 사용이 매칭 정밀도를 크게 향상시키며, 저수준 특징 매칭에서의 오소정보 감소를 통해 이를 입증한다.
• 정규화된 활성도 임계값(γ = 0.05)을 사용한 NBBs 필터링은 의미적으로 유의미하고 기하학적으로 두드러진 대응만 효과적으로 유지한다.
• 사용자 연구 결과, NBB가 생성한 대응은 다른 방법에 비해 시각적으로 더 정확하고 그래픽 응용에 더 유용하다고 확인된다.
• 이 방법은 사자와 고양이처럼 상이한 객체 간에도 높은 품질의 이미지 모핑과 하이브리드 이미지 생성을 성공적으로 구현한다.
• NBBs의 coarse-to-fine 전파 과정은 가장자리와 모서리와 같은 핵심 특징을 픽셀 수준에서 정확하게 국소화한다.