[논문 리뷰] Neural Matching Fields: Implicit Representation of Matching Fields for Visual Correspondence

Sunghwan Hong, Jisu Nam외 5명|arXiv (Cornell University)|2022. 10. 06.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

Neural Matching Fields (NeMF)는 4차원 매칭 필드에 대한 암묵적 신경 표현을 제안하여 고정밀도 의미적 대응을 구현한다. 이는 컨volution과 자기주의 attention을 사용한 비용 임베딩 네트워크를 통해 완전히 연결된 네트워크가 세밀한 대응을 학습하도록 유도한다. 이 방법은 PatchMatch 기반 샘플링과 좌표 보정을 결합한 테스트 시 최적화를 통해 고해상도 추론을 가능하게 하며, 수작업으로 설계된 보간법에 비해 국소화 정확도가 향상된 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing pipelines of semantic correspondence commonly include extracting high-level semantic features for the invariance against intra-class variations and background clutters. This architecture, however, inevitably results in a low-resolution matching field that additionally requires an ad-hoc interpolation process as a post-processing for converting it into a high-resolution one, certainly limiting the overall performance of matching results. To overcome this, inspired by recent success of implicit neural representation, we present a novel method for semantic correspondence, called Neural Matching Field (NeMF). However, complicacy and high-dimensionality of a 4D matching field are the major hindrances, which we propose a cost embedding network to process a coarse cost volume to use as a guidance for establishing high-precision matching field through the following fully-connected network. Nevertheless, learning a high-dimensional matching field remains challenging mainly due to computational complexity, since a naive exhaustive inference would require querying from all pixels in the 4D space to infer pixel-wise correspondences. To overcome this, we propose adequate training and inference procedures, which in the training phase, we randomly sample matching candidates and in the inference phase, we iteratively performs PatchMatch-based inference and coordinate optimization at test time. With these combined, competitive results are attained on several standard benchmarks for semantic correspondence. Code and pre-trained weights are available at https://ku-cvlab.github.io/NeMF/.

연구 동기 및 목표

• 기존 의미적 대응 방법이 저해상도 매칭 필드와 수작업으로 설계된 보간법에 의존함에 따라 성능에 한계가 있음을 해결하기 위해.
• 고차원 4차원 매칭 필드의 학습 및 추론이 높은 계산 복잡도로 인해 비가능성이 있음을 해결하기 위해.
• 암묵적 신경 표현을 활용해 원본 이미지 해상도에서 고해상도, 정밀한 대응 예측을 가능하게 하기 위해.
• 4차원 매칭 필드의 복잡성과 차원을 효율적으로 다룰 수 있는 학습 및 추론 파이프라인을 설계하기 위해.
• 비용 임베딩과 테스트 시 최적화가 대응 정확도 향상에 기여하는지 검증하기 위해.

제안 방법

• 粗모한 비용 볼륨에서 局소 및 전역적 맥락을 추출하기 위해 컨볼루션과 자기주의 attention 레이어를 사용한 비용 임베딩 네트워크를 제안하여 암묵적 매칭 필드 학습을 위한 구조적 가이던스를 제공한다.
• 완전히 연결된 신경망을 사용해 임의의 해상도에서 4차원 매칭 필드를 암묵적으로 표현함으로써 연속적이고 고정밀도의 대응 예측을 가능하게 한다.
• 전체 추론을 수행하지 않고도 대응 정확도를 감독할 수 있도록, 무작위로 매칭 후보를 샘플링하는 기반 기반 학습 전략을 적용한다.
• 테스트 시 최적화 절차를 도입하여 PatchMatch 기반의 탐색 공간 샘플링과 반복적 좌표 최적화를 결합하여 추론 중 예측을 정밀하게 보정한다.
• 탐색(비슷한 PatchMatch 방식의 샘플링)과 활용(좌표 최적화)을 번갈아가며 테스트 시에 점진적으로 대응 정확도를 향상시킨다.
• 해상도 인식 설계를 통해 메모리 소비와 추론 시간을 제어하여 고해상도에서도 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 암묵적 신경 표현이 의미적 대응을 위한 고차원 4차원 매칭 필드를 효과적으로 모델링할 수 있는가?
• RQ2 비용 볼륨 특징을 어떻게 효과적으로 임베딩하여 고정밀도 매칭 필드 학습을 유도할 수 있는가?
• RQ3 기반 기반 학습과 테스트 시 최적화가 함께 작용하여 4차원 매칭 필드 추론의 계산 비가용성을 극복할 수 있는가?
• RQ4 제안된 방법이 표준 벤치마크에서 수작업 보간법 및 이전의 암묵적 또는 명시적 매칭 방법보다 우월한가?
• RQ5 비용 임베딩 구성 요소와 테스트 시 최적화가 최종 대응 정확도에 미치는 영향은 무엇인가?

주요 결과

• NeMF는 표준 의미적 대응 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 이중선형 또는 TPS 보간법을 사용한 방법들보다 뚜렷이 뛰어나다.
• 제안된 테스트 시 최적화 전략(PatchMatch + 좌표 최적화)은 기존의 전수 검색 방식(30만 초 이상)에서 단일 GPU에서 9초 이내로 추론 시간을 단축시키면서 정확도도 향상시켰다.
• CHM 및 CATs와 같은 이전 방법들과 비교해 고해상도에서 메모리 소비를 줄였으며, 128×128 해상도에서 6,309 MB를 기록했고, 다른 방법들은 OOM 상태였다.
• 제거 실험 결과, 비용 임베딩 네트워크와 테스트 시 최적화가 성능 향상에 필수적임을 확인하였으며, 특히 기준 추론 대비 20퍼센트 이상의 정확도 향상을 보였다.
• 학습 전략은 전체 볼륨 추론 없이도 안정적인 학습을 가능하게 하여, 계산 제약에도 불구하고 고해상도 학습을 실현 가능하게 하였다.
• 여러 데이터셋에 걸쳐 높은 성능을 유지하며, 반복적 변형과 기하학적 왜곡에 대한 강건성을 입증하였다.