[논문 리뷰] FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence

Seungryong Kim, Dongbo Min외 4명|arXiv (Cornell University)|2017. 02. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 14

한 줄 요약

FCSS는 딥 네트워크 내에서 끝에서 끝까지 국소 구조 샘플링 패턴과 자기 유사성 측정값을 학습하는 완전 컨볼루션형 자기 유사성 기술자이다. 이는 반복적이고 유사한 외관 변화에 대해 강건성을 유지하면서 정밀한 국소화를 보장한다. 객체 제안 사전 지식과 대응 일관성에 기반한 약한 지도 학습을 활용하여 PASCAL-VOC, Caltech-101 및 Proposal Flow 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a descriptor, called fully convolutional self-similarity (FCSS), for dense semantic correspondence. To robustly match points among different instances within the same object class, we formulate FCSS using local self-similarity (LSS) within a fully convolutional network. In contrast to existing CNN-based descriptors, FCSS is inherently insensitive to intra-class appearance variations because of its LSS-based structure, while maintaining the precise localization ability of deep neural networks. The sampling patterns of local structure and the self-similarity measure are jointly learned within the proposed network in an end-to-end and multi-scale manner. As training data for semantic correspondence is rather limited, we propose to leverage object candidate priors provided in existing image datasets and also correspondence consistency between object pairs to enable weakly-supervised learning. Experiments demonstrate that FCSS outperforms conventional handcrafted descriptors and CNN-based descriptors on various benchmarks.

연구 동기 및 목표

• 색상, 조명, 질감 차이 등 객체 인스턴스 간에 심한 내부 클래스 외관 변동이 존재하는 상황에서의 밀도 있는 의미적 대응 문제를 해결하기 위해.
• 기존의 딥 러닝 및 수작업 기반 기술자들의 한계를 극복하고, 큰 외관 변동에도 불구하고 높은 국소화 정밀도를 유지할 수 있는 CNN 기반 기술자를 개발하기 위해.
• 밀도 높은 진짜 대응 annotation이 부족한 상황에서, 약한 지도 학습을 통해 기술자를 효과적으로 훈련시킬 수 있도록 하기 위해.
• 종단 간 다중 척도 방식으로 최적의 국소 패치 샘플링 패턴과 미분 가능한 자기 유사성 측정값을 동시에 학습하기 위해.

제안 방법

• 완전 컨볼루션 네트워크 내에서 학습된 국소 자기 유사성(LSS) 구조를 인코딩하는 미분 가능한 컨볼루션 자기 유사성(CSS) 레이어를 도입한다.
• 스킵 연결을 활용하여 공간적 세부 정보를 유지하면서, 스케줄링된 방식으로 국소 패치 샘플링 패턴과 자기 유사성 측정값을 종단 간 다중 척도로 공동 학습한다.
• 밀도 높은 annotation에 대한 의존도를 줄이기 위해 이미지 데이터셋 내 객체 쌍 간의 대응 일관성과 객체 제안 사전 지식을 활용한 약한 지도 학습 체계를 적용한다.
• 다중 척도 특징을 집계하기 위해 스킵 연결을 활용하여 국소화 정확도를 향상시키고 변형에 대한 강건성을 높인다.
• 밀도 있는 대응을 위해 유연한 플로우 추정 프레임워크 내에서 FCSS 기술자를 사용하며, 희소 플로우(SF) 또는 제안 플로우(PF) 최적화 방식을 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 기술자가 내부 클래스 외관 변동에 대해 본질적으로 강건성을 유지하면서도 밀도 있는 의미적 대응에서 정밀한 국소화를 유지할 수 있는가?
• RQ2 어떻게 국소 자기 유사성을 효과적으로 학습하고, 종단 간 학습이 가능한 완전 컨볼루션 네트워크에 미분 가능한 방식으로 통합할 수 있는가?
• RQ3 객체 제안과 대응 일관성에 기반한 약한 지도 학습이 밀도 높은 지도 학습이 제한된 상황에서 기술자 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 FCSS 기술자가 표준 의미적 대응 벤치마크에서 기존의 CNN 기반 및 수작업 기반 기술자들을 능가하는가?

주요 결과

• Caltech-101 데이터셋에서 FCSS는 0.52의 최고 IoU 점수를 기록하여, VGG와 SF(0.51) 및 FCSS w/SF(0.50)와 같은 이전 방법들을 능가한다.
• PASCAL-VOC part 데이터셋에서 FCSS w/PF는 레이블 전이 정확도(LT-ACC) 0.83을 달성하여, 이어지는 최고 성능 방법(0.80)을 초월하며, 부분 매칭 성능이 뛰어나다는 것을 입증한다.
• Proposal Flow 벤치마크에서 PCK@0.1 기준 FCSS w/PF는 0.46을 기록하여 UCN(0.44)과 FCSS w/SF(0.47)를 능가하며, 관건점 정렬 정확도가 뛰어나다는 것을 보여준다.
• PASCAL-VOC 및 Caltech-101에 대한 시각화 결과에서 FCSS는 최소한의 비일관성과 노이즈를 보이며 가장 정확하고 일관성 있는 밀도 있는 플로우 필드를 생성한다.
• Taniai 등, Proposal Flow, PASCAL-VOC 및 Caltech-101를 포함한 모든 평가된 벤치마크에서 최신 기술 수준의 성능를 달성하여 강건성과 일반화 능력을 확인한다.