[논문 리뷰] PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence Estimation

Sangryul Jeon, Seungryong Kim외 2명|arXiv (Cornell University)|2018. 07. 09.

Image Retrieval and Classification Techniques인용 수 6

한 줄 요약

PARN은 조잡한 방식에서 시작하여 피라미드 구조로 국소적으로 변화하는 애핀 변환 필드를 추정함으로써 밀도 높은 의미적 대응을 위한 새로운 딥러닝 프레임워크를 제안한다. 다중 척도 특징에서 잔차 애핀 회귀를 사용하고, 연관 일致성에 기반한 약한 지도 학습 방식을 적용하여 연속된 변환 필드를 이산화하지 않고도 최첨단 성능을 달성한다.

ABSTRACT

This paper presents a deep architecture for dense semantic correspondence, called pyramidal affine regression networks (PARN), that estimates locally-varying affine transformation fields across images. To deal with intra-class appearance and shape variations that commonly exist among different instances within the same object category, we leverage a pyramidal model where affine transformation fields are progressively estimated in a coarse-to-fine manner so that the smoothness constraint is naturally imposed within deep networks. PARN estimates residual affine transformations at each level and composes them to estimate final affine transformations. Furthermore, to overcome the limitations of insufficient training data for semantic correspondence, we propose a novel weakly-supervised training scheme that generates progressive supervisions by leveraging a correspondence consistency across image pairs. Our method is fully learnable in an end-to-end manner and does not require quantizing infinite continuous affine transformation fields. To the best of our knowledge, it is the first work that attempts to estimate dense affine transformation fields in a coarse-to-fine manner within deep networks. Experimental results demonstrate that PARN outperforms the state-of-the-art methods for dense semantic correspondence on various benchmarks.

연구 동기 및 목표

• 밀도 높은 의미적 대응 추정에서 반복 클래스의 외관 및 형상 변화를 다루기 위해.
• 연속된 변환 필드를 이산화하지 않고 이미지 간 국소적으로 변화하는 애핀 변환을 모델링하기 위해.
• 지표 데이터의 제한된 지도 정보를 보완하기 위해 연관 일치를 활용한 약한 지도 학습 기반의 방법을 도입하기 위해.
• 피라미드 아키텍처를 통해 부드럽고 계층적인 정련을 통해 엔드 투 엔드로 밀도 높은 대응을 학습할 수 있도록 하기 위해.

제안 방법

• PARN은 조잡한 수준에서 세밀한 수준으로 점진적으로 애인 변환 필드를 추정하기 위해 피라미드 딥 네트워크를 사용한다.
• 각 수준에서 네트워크는 최종 변환 필드를 구성하기 위해 조합되는 잔차 애인 변환을 회귀한다.
• 계층적이고 다중 척도의 정련 과정을 통해 부드러움 제약 조건을 자연스럽게 강제한다.
• 약한 지도 학습 목표 함수를 도입하여 이미지 쌍 간의 연관 일치를 통해 점진적인 지도 정보를 생성한다.
• 모든 과정이 완전히 미분 가능하고 엔드 투 엔드로 학습 가능하여 연속된 애인 필드의 이산화를 피한다.
• 공유된 백본에서 생성된 특징 맵을 사용하여 다중 척도에서 변환 필드를 추정한다.

실험 결과

연구 질문

• RQ1 조잡한-세밀한 피라미드 딥 네트워크 아키텍처는 밀도 높은 의미적 대응을 위한 국소적으로 변화하는 애인 변환을 효과적으로 모델링할 수 있는가?
• RQ2 지표 대응이 제한된 상황에서 약한 지도 학습을 어떻게 활용하여 점진적인 지도 정보를 생성할 수 있는가?
• RQ3 계층적 구조는 명시적 정규화 없이도 추정된 변환 필드에 부드러움을 자연스럽게 부여할 수 있는가?
• RQ4 이산화 또는 비미분 가능 요소에 의존하는 기존 방법과 비교해 연속된 애인 필드를 엔드 투 엔드로 학습하는 것이 성능을 향상시키는가?

주요 결과

• PARN은 밀도 높은 의미적 대응에 대한 여러 벤치마크에서 최첨단 성능을 달성하며 기존 방법들을 능가한다.
• 조잡한-세밀한 피라미드 설계 덕분에 외관과 형상의 반복 클래스 변화를 효과적으로 모델링할 수 있다.
• 약한 지도 학습 기반의 학습 방식은 제한된 애너테이션 데이터에도 불구하고 일반화 능력을 크게 향상시킨다.
• 연속된 애인 필드의 이산화를 피함으로써 더 정확하고도 민감한 변환 추정이 가능해진다.
• 연관 일치에서 유도된 점진적 지도 정보는 학습 안정성과 성능 향상에 기여한다.
• 엔드 투 엔드로 미분 가능한 아키텍처는 중간 근사 없이 전체 네트워크의 최적화를 가능하게 한다.