[논문 리뷰] Deep Learning Improves Template Matching by Normalized Cross Correlation

Davit Buniatyan, Thomas Macrina외 3명|arXiv (Cornell University)|2017. 05. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 7인용 수 9

한 줄 요약

이 논문은 진짜 매칭과 가짜 매칭을 구분하도록 훈련된 시アン드롬형 컨volution 신경망을 사용해 NCC(정규화된 상관관계) 템플릿 매칭을 사전 처리하는 딥러닝 접근법을 제안한다. 이 방법은 밴드패스 필터링 대비 2–7배 감소한 가짜 매칭을 기록하며, 진짜 매칭의 0.12% 이하에서만 기각함으로써 근사적으로 0%에 가까운 가짜 양성 결과를 달성하여 고정밀 연결체세포학 응용 분야에서의 강인성 향상에 기여한다.

ABSTRACT

Template matching by normalized cross correlation (NCC) is widely used for finding image correspondences. We improve the robustness of this algorithm by preprocessing images with "siamese" convolutional networks trained to maximize the contrast between NCC values of true and false matches. The improvement is quantified using patches of brain images from serial section electron microscopy. Relative to a parameter-tuned bandpass filter, siamese convolutional networks significantly reduce false matches. Furthermore, all false matches can be eliminated by removing a tiny fraction of all matches based on NCC values. The improved accuracy of our method could be essential for connectomics, because emerging petascale datasets may require billions of template matches to assemble 2D images of serial sections into a 3D image stack. Our method is also expected to generalize to many other computer vision applications that use NCC template matching to find image correspondences.

연구 동기 및 목표

• 시리얼 섹션 전자현미경에서 가짜 매칭이 3차원 재구성 정확도에 심각한 영향을 미칠 수 있는 정규화된 상관관계(NCC) 템플릿 매칭의 강인성을 향상시키기 위해.
• 특히 전자현미경 데이터에서 흔한 영상 왜곡, 손상, 강도 변동이 존재하는 상황에서 NCC 기반 대응 검출의 가짜 양성 매칭을 줄이기 위해.
• 정확한 지정된 매칭 위치가 필요로 하지 않는 약한 지도 학습 기반의 딥러닝 방법을 개발하여 NCC 성능을 향상시키기 위해.
• NCC 출력의 분류 능력을 향상시켜 가짜 매칭 기각의 효율을 높이고, 필터링 과정에서 진짜 매칭의 손실를 최소화하기 위해.
• 에러율을 근사적으로 0%로 낮추면서도 최대한의 진짜 대응 정보를 유지하는 동시에 페타스케일 전자현미경 영상 스택의 확장 가능한 고속 정렬을 가능하게 하기 위해.

제안 방법

• 시앙드롬형 컨volution 신경망은 진짜 매칭과 가짜 매칭의 NCC 점수 간 대비를 최대화하도록 훈련되며, 위치 정보가 아닌 진짜 매칭의 존재 여부만을 약한 지도로 사용한다.
• 이 네트워크는 템플릿 이미지와 소스 이미지 양쪽을 처리하여 미토콘드리아와 같은 특징을 강화하고, 직선 모서리나 균일한 영역과 같은 국소화가 어려운 구조를 억제하는 데 기여한다.
• 사전 처리된 이미지는 표준 3차원 NCC에 입력되어 정규화된 상관관계함수를 계산하며, 이때 피크 높이(r_max)와 너비(r_delta)는 매칭 품질과 국소화 정확도를 나타낸다.
• 가짜 매칭은 NCC 출력 임계값 기반으로 기각되며, 기존의 밴드패스 필터링 대비 뛰어난 기각 효율성을 보였다.
• 훈련 목표는 진짜 매칭이 날카롭게 국소화되고 고점수를 받도록 하고, 가짜 매칭은 억제되며 국소화가 잘 되지 않도록 네트워크를 유도한다.
• 이 방법은 다양한 템플릿 크기와 정렬 작업(연속된 섹션 대비 섹션 간)에 대해 일반화되며, 다양한 수준의 영상 왜곡과 노이즈에 대해 강인함을 입증했다.

실험 결과

연구 질문

• RQ1 딥러닝은 시리얼 섹션 전자현미경에서 정규화된 상관관계(NCC) 템플릿 매칭의 강인성을 향상시킬 수 있는가?
• RQ2 기존의 밴드패스 필터링과 비교해 시앙드롬형 컨volution 신경망을 사용한 사전 처리가 NCC 기반 대응 검출에서 가짜 양성 매칭을 줄일 수 있는가?
• RQ3 딥러닝으로 사전 처리된 이미지의 NCC 출력을 더 효율적으로 활용해 가짜 매칭을 기각하면서도 더 높은 비율의 진짜 매칭을 유지할 수 있는가?
• RQ4 이 방법은 다양한 템플릿 크기와 정렬 난이도(예: 연속된 섹션 대비 섹션 간)에 대해 얼마나 잘 일반화되는가?
• RQ5 네트워크는 어떤 영상 특징을 강조하게 되며, 이러한 특징은 국소화 향상과 가짜 매칭 감소에 어떻게 기여하는가?

주요 결과

• 시앙드롬형 컨볼루션 네트워크는 밴드패스 필터링 대비 2–7배 감소한 가짜 매칭 비율을 기록하여 오차율을 0.05%에서 0.30%로 낮췄다.
• 이 방법은 기각 효율을 3.5배 향상시켰다: 연속된 224px 케이스에서 가짜 매칭을 완전히 제거하기 위해 진짜 매칭의 0.12%만 기각하면 되었고, 밴드패스 필터링 대비 0.40%보다 훨씬 낮았다.
• 가장 도전적인 작업(섹션 간, 160px 템플릿)에서는 밴드패스 필터링을 사용할 경우 진짜 매칭의 20%가 기각되어야 했지만, 딥러닝 방법을 사용하면 1% 미만으로 줄일 수 있었다.
• 네트워크는 미토콘드리아와 같은 키포인트 유사 특징을 성공적으로 식별하고 강화했으며, 직선 세포막이나 혈관과 같은 국소화가 어려운 구조는 억제했다.
• 템플릿에 식별 가능한 키포인트가 없을 경우(예: 세포체가 지배하는 경우) 네트워크의 실패가 관찰되었지만, 이러한 경우는 드물며 대응 데이터 증강을 통해 보완 가능했다.
• 이 방법은 훈련 작업을 초월해 잘 일반화되었으며, 더 쉬운(연속된) 및 더 어려운(섹션 간) 정렬 작업 모두에서 밴드패스 필터링을 능가하는 성능을 보였다.