[논문 리뷰] Correspondence Networks with Adaptive Neighbourhood Consensus

Shuda Li, Kai Han외 3명|arXiv (Cornell University)|2020. 03. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 같은 객체 카테고리의 이미지 간에 고밀도 의미적 대응 관계를 추정하기 위한 딥러닝 프레임워크 ANC-Net을 제안한다. 이는 희박한 키포인트 애너테이션으로 엔드 투 엔드 학습되며, 비등방성 4차원 컨볼루션 기반의 적응형 근접 공감 모듈과 다중 스케일 자기유사성 모듈을 도입하여 내부 클래스 변동에 대한 강건성을 향상시켜, 기존 최고 성능(SOTA)을 기록한 벤치마크 데이터셋에서 새로운 수직 손실을 통해 일대일 매칭을 강제함으로써 성능을 달성한다.

ABSTRACT

In this paper, we tackle the task of establishing dense visual correspondences between images containing objects of the same category. This is a challenging task due to large intra-class variations and a lack of dense pixel level annotations. We propose a convolutional neural network architecture, called adaptive neighbourhood consensus network (ANC-Net), that can be trained end-to-end with sparse key-point annotations, to handle this challenge. At the core of ANC-Net is our proposed non-isotropic 4D convolution kernel, which forms the building block for the adaptive neighbourhood consensus module for robust matching. We also introduce a simple and efficient multi-scale self-similarity module in ANC-Net to make the learned feature robust to intra-class variations. Furthermore, we propose a novel orthogonal loss that can enforce the one-to-one matching constraint. We thoroughly evaluate the effectiveness of our method on various benchmarks, where it substantially outperforms state-of-the-art methods.

연구 동기 및 목표

• 동일 카테고리의 서로 다른 인스턴스 이미지 간에 고밀도 시각적 대응 관계를 수립하는 데 도전하는 것. 이는 큰 내부 클래스 변동과 고밀도 애너테이션의 부족으로 인해 어려움을 겪는다.
• 비용이 많이 들는 고밀도 감독 없이도 희박한 키포인트 애너테이션만으로도 엔드 투 엔드 학습 가능한 딥러닝 모델을 개발하는 것.
• 다양한 객체 크기와 형태를 고려한 적응형 근접 공감을 통해 대응 관계 유효성을 모델링하여 매칭의 강건성을 향상시키는 것.
• 학습 중에 새로운 수직 손실을 도입하여 일대일 대응 관계를 강제함으로써 타당한 일대일 매칭을 보장하는 것.
• 색상, 스케일, 조명 변화와 같은 외관 변동에 강인한 효율적이고 효과적인 특징 표현을 설계하는 것.

제안 방법

• ANC-Net은 입력 이미지 쌍에서 초기 특징을 추출하기 위해 CNN 백본을 사용하고, 그 다음에 CNN 특징에서 자기유사성 특징을 계산하는 다중 스케일 자기유사성 모듈을 적용하여 내부 클래스 변동에 대한 강건성을 향상시킨다.
• ANC-Net의 핵심은 비등방성 4차원 컨볼루션 커널을 사용해 후보 대응 관계 주변의 이웃 영역을 동적으로 선택하는 적응형 근접 공감(ANC) 모듈이며, 이는 크기와 형태의 변동에 대비해 매칭 신뢰도를 향상시킨다.
• 4차원 상관관계 맵은 원시 CNN 특징과 자기유사성 특징에서 계산되며, 이는 ANC 모듈에 의해 정제되어 더 높은 품질의 매칭 점수를 가진 정제된 상관관계 맵을 생성한다.
• 학습 과정을 정규화하기 위해 새로운 수직 손실이 도입되며, 이는 일대일 매핑 제약 조건을 강제하고 모호하거나 잘못된 대응 관계를 줄인다.
• 모델는 오직 희박한 키포인트 애너테이션만을 사용하여 엔드 투 엔드로 학습되며, 수직 손실이 잡음 있는 매칭을 억제하고 일반화 능력을 향상시키는 데 기여한다.
• 정제된 4차원 상관관계 맵을 통해 보간을 이용해 고밀도 대응 관계를 추출하여 소스 이미지를 타겟 이미지로 고밀도 워핑할 수 있다.

실험 결과

연구 질문

• RQ1 희박한 키포인트 애너테이션만을 사용하여 딥러닝 모델이 동일 카테고리의 이미지 간에 정확한 고밀도 의미적 대응 관계를 달성할 수 있는가?
• RQ2 어떻게 근접 공감을 다양한 객체 크기와 형태에 적응시켜 매칭의 강건성을 향상시킬 수 있는가?
• RQ3 다중 스케일 자기유사성 특징이 색상과 조명 변화와 같은 내부 클래스 외관 변동에 대해 강건성을 향상시킬 수 있는가?
• RQ4 새로운 수직 손실이 일대일 대응 관계 제약 조건을 효과적으로 강제하여 더 타당한 매칭 결과를 도출하는가?
• RQ5 기본 벤치마크에서 제안된 ANC-Net 아키텍처는 기존 최고 성능(SOTA) 방법에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• ANC-Net은 PASCAL-Part 벤치마크에서 PCK@0.1 점수 86.1을 기록하여 재학습한 NC-Net(81.9)과 DCCNet(83.7)을 크게 앞서며 성능을 뛰어넘었다.
• 제거 실험 결과, ANC 모듈, 다중 스케일 자기유사성, 또는 수직 손실 중 어느 것도 제거할 경우 성능 저하가 발생하여 각 설계 선택의 효과성을 확인했다.
• ANC 모듈의 세 가지 변종 중 ANC_d가 가장 뛰어난 성능(86.1 PCK@0.1)을 기록하여, 유연한 특징 조합 경로가 크기 변화에 대한 강건성을 향상시킨다는 것을 시사한다.
• 정성적 결과에서는 ANC-Net이 단일 피크 상관관계 맵을 생성함으로써, NC-Net과 DCCNet이 종종 다중 피크를 보이는 다소 모호한 키포인트(예: 사지)로 인한 실패를 줄였다.
• 고밀도 워핑 결과에서는 ANC-Net이 기준 방법에 비해 객체의 크기와 구조적 세부 정보를 더 잘 유지하는 것으로 나타났으며, 특히 큰 자세 및 크기 차이가 있는 과도한 케이스에서 뚜렷한 우수성을 보였다.
• 다양한 카테고리와 조건에서도 일반화 능력이 뛰어나, PASCAL-Part, LSP, CelebA 등 여러 벤치마크에서 일관된 성능 향상을 입증했다.