[논문 리뷰] Matching neural paths: transfer from recognition to correspondence search

Nikolay Savinov, Ľubor Ladický외 1명|arXiv (Cornell University)|2017. 05. 19.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망의 여러 층을 거쳐 계층적 특징 매칭을 사용하는 저수준 대응 검색을 위한 새로운 방법을 제안한다. 인식 작업에서의 전이 학습을 활용하고 다항 시간 알고리즘을 통해 신경 경로를 집계함으로써, 타겟 도메인의 레이블이 없는 데이터를 요구하지 않으면서도 경쟁 가능한 스테레오 대응 성능을 달성한다.

ABSTRACT

Many machine learning tasks require finding per-part correspondences between objects. In this work we focus on low-level correspondences --- a highly ambiguous problem. We propose to use a hierarchical semantic representation of the objects, coming from a convolutional neural network, to solve this ambiguity. Training it for low-level correspondence prediction directly might not be an option in some domains where the ground-truth correspondences are hard to obtain. We show how transfer from recognition can be used to avoid such training. Our idea is to mark parts as matching if their features are close to each other at all the levels of convolutional feature hierarchy (neural paths). Although the overall number of such paths is exponential in the number of layers, we propose a polynomial algorithm for aggregating all of them in a single backward pass. The empirical validation is done on the task of stereo correspondence and demonstrates that we achieve competitive results among the methods which do not use labeled target domain data.

연구 동기 및 목표

• 저수준 대응 매칭의 과제를 해결하기 위해, 이는 매우 모호하고 일반적으로 신뢰할 수 있는 지도 데이터가 부족한 경우가 많다.
• 개별 부품의 대응을 레이블링하는 것이 비현실적이거나 불가능한 도메인에서의 대응 학습을 가능하게 하기 위해.
• 사전 훈련된 인식 모델의 계층적 의미 표현을 활용하여 대응 예측을 안내하기 위해.
• 모든 가능한 신경 경로를 특징 계층 수준 간에 집계하는 효율적인 알고리즘을 개발하기 위해.
• 타겟 도메인에서 레이블이 없는 훈련 데이터를 요구하지 않으면서도 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 이 방법은 합성곱 특징 계층의 모든 수준에서 특징 유사도를 측정하여 매칭되는 부분을 식별하고, 이를 '신경 경로'로 구성한다.
• 두 부분이 계층의 모든 수준에서 특징이 유사할 경우에만 대응되는 것으로 간주하는 매칭 기준을 정의한다.
• 지수 크기의 모든 신경 경로 조합을 다항 시간 내에 효율적으로 집계하는 백워드 패스 알고리즘을 사용하여 단일 가분성 점수로 통합한다.
• 사전 훈련된 CNN을 특징 추출에 사용하여 인식에서의 의미 지식을 대응 작업으로 전이한다.
• 최종 대응 점수는 모든 유효한 신경 경로 구성에 대해 합산하여 엔드 투 엔드 최적화를 가능하게 한다.
• 이 방법은 약한 지도 학습 방식을 사용하며, 개별 부품의 대응 레이블이 아닌 인식 지도만을 기반으로 한다.

실험 결과

연구 질문

• RQ1 여러 CNN 층을 거쳐 계층적 특징 매칭을 수행함으로써 직접 지도 학습 없이 저수준 대응 예측 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 인식 모델의 지식을 어떻게 효과적으로 대응 검색 작업으로 전이할 수 있는가?
• RQ3 특징 계층 간에 모든 가능한 신경 경로를 다항 시간 내에 집계하는 것은 가능한가?
• RQ4 이 방법은 타겟 도메인의 레이블이 없는 데이터로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 전체 계층에 걸친 다중 수준 특징 일관성은 대응 정확도에 어떤 영향을 미치는가?

주요 결과

• 레이블이 있는 타겟 도메인 데이터를 사용하는 최신 기술들과 비교해도 이 방법은 경쟁 가능한 스테레오 대응 성능을 달성한다.
• 전체 계층에 걸친 다중 수준 특징 일관성의 활용은 단일 층 비교에 비해 매칭 정확도를 크게 향상시킨다.
• 제안된 다항 시간 집계 알고리즘 덕분에 지수 크기의 모든 신경 경로에 대해 효율적인 계산이 가능해졌다.
• 인식 작업에서의 전이 학습 덕분에 타겟 도메인에서 개별 부품의 대응 레이블이 없더라도 강력한 성능을 달성할 수 있었다.
• 계층적 의미 표현을 활용함으로써 저수준 대응의 노이즈와 모호성에 대해 강건한 성능을 보였다.
• 실험 결과는 일관된 신경 경로를 통한 매칭이 기준 방법보다 더 신뢰할 수 있는 대응을 이끌어낸다는 것을 확인했다.