[논문 리뷰] Automatic Image Registration in Infrared-Visible Videos using Polygon Vertices

Tanushri Chakravorty, Guillaume-Alexandre Bilodeau외 1명|arXiv (Cornell University)|2014. 03. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 15인용 수 7

한 줄 요약

이 논문은 목표 윤곽의 다각형 근사화와 시간적 키포인트 매칭을 이용한 적외선-가시광선 영상 쌍을 위한 새로운 특징 기반 이미지 정렬 방법을 제안한다. 이 방법은 이산 곡선 진화(DCE)를 통해 키포인트를 검출하고, 국소적 형태의 볼록성과 유클리드 거리 기반으로 매칭하며, 시간적 버퍼와 겹침 비율 기준을 이용해 최적의 애핀 변환을 선택함으로써, 다중 타깃 및 비평면 장면에서 이전 연구에 비해 상당히 낮은 정렬 오차를 달성한다.

ABSTRACT

In this paper, an automatic method is proposed to perform image registration in visible and infrared pair of video sequences for multiple targets. In multimodal image analysis like image fusion systems, color and IR sensors are placed close to each other and capture a same scene simultaneously, but the videos are not properly aligned by default because of different fields of view, image capturing information, working principle and other camera specifications. Because the scenes are usually not planar, alignment needs to be performed continuously by extracting relevant common information. In this paper, we approximate the shape of the targets by polygons and use affine transformation for aligning the two video sequences. After background subtraction, keypoints on the contour of the foreground blobs are detected using DCE (Discrete Curve Evolution)technique. These keypoints are then described by the local shape at each point of the obtained polygon. The keypoints are matched based on the convexity of polygon's vertices and Euclidean distance between them. Only good matches for each local shape polygon in a frame, are kept. To achieve a global affine transformation that maximises the overlapping of infrared and visible foreground pixels, the matched keypoints of each local shape polygon are stored temporally in a buffer for a few number of frames. The matrix is evaluated at each frame using the temporal buffer and the best matrix is selected, based on an overlapping ratio criterion. Our experimental results demonstrate that this method can provide highly accurate registered images and that we outperform a previous related method.

연구 동기 및 목표

• 다른 시야각, 센서 특성, 텍스처나 강도 대응이 없는 문제로 인한 적외선-가시광선 영상 시퀀스의 정렬 오류를 해결한다.
• 타깃이 반드시 평면이 아니며 서로 다른 깊이 평면에 있을 수 있는 다중모달 영상 감시에서 정렬 정확도를 향상시킨다.
• 전역적 특징 매칭의 한계를 극복하기 위해 각 타깃의 윤곽을 별도로 처리하여 모호성과 이방성 매칭을 줄인다.
• 전경 픽셀 겹침 비율 기반의 강력한 변환 선택 기준을 개발하여 시간에 따라 정렬 정밀도를 향상시킨다.
• 다양한 조명 조건에서 객체 탐지, 추적, 인식 등의 응용을 위한 정확한 이미지 융합을 가능하게 한다.

제안 방법

• 배경 제거 후 가시광선 및 적외선 영상 프레임에서 목표물의 형태를 노이즈가 있는 다각형으로 근사한다.
• 이산 곡선 진화(DCE) 기법을 사용해 다각형 경계의 주목적 점을 검출한다.
• 특히 다각형 정점의 볼록성을 포함한 국소적 형태 특징을 사용해 각 키포인트를 기술한다.
• 형태 기술자 간 유클리드 거리와 기하학적 일관성 기반으로 대응 다각형 간 키포인트를 매칭한다.
• 다중 프레임에 걸쳐 매칭된 키포인트 쌍을 시간적 버퍼에 저장하여 신뢰할 수 있는 대응 관계를 누적한다.
• 각 프레임에서 변환 행렬 후보를 겹침 비율 기준(변환된 전경 픽셀의 교차율)을 사용해 평가하고, 정렬을 최대화하는 행렬을 선택한다.

실험 결과

연구 질문

• RQ1 전역적 특징 매칭에 비해 목표물 윤곽의 다각형 근사화가 적외선-가시광선 영상 정렬에서 특징 매칭 정확도를 향상시키는가?
• RQ2 매칭된 키포인트의 시간적 버퍼링이 애핀 변환 추정의 강건성과 정확도를 어떻게 향상시키는가?
• RQ3 전경 픽셀 겹침 비율 기준이 최적의 변환 행렬 선택에 있어 전통적인 유사도 측정 방법보다 어느 정도 뛰어나게 작용하는가?
• RQ4 깊이 차이가 존재하는 비평면 장면에서 다수의 타깃을 효과적으로 정렬할 수 있는가?
• RQ5 다양한 수의 타깃에서 정량적으로 비교했을 때, 제안된 방법은 이전 연구에 비해 정렬 오차 측면에서 어느 정도 우월한가?

주요 결과

• 단일 인물에 대해 100프레임 버퍼 크기로 평균 정렬 오차 0.6084 픽셀을 달성하였으며, Sonn 등 [2]가 보고한 2.3522 픽셀보다 상당히 낮다.
• 장면에 다섯 명의 사람이 있을 경우, 100프레임 버퍼로 평균 오차 1.1354 픽셀을 기록하였으며, 동일 조건에서 Sonn 등이 보고한 4.5206 픽셀보다 뛰어나다.
• 1~5명의 타깃을 테스트한 모든 경우에서 오차가 감소하여, 30- 및 100프레임 버퍼 구성 모두에서 기준 방법 [2]에 비해 일관되게 우수한 성능을 보였다.
• 각 다각형을 별도로 고려함으로써 모호성이 감소하고, 배경 제거가 완벽하지 않을 경우 한 사람당 여러 개의 다각형이 생성되는 경우에도 모순되는 매칭을 효과적으로 걸러낼 수 있었다.
• 겹침 비율 기반의 변환 선택 기준은 더 정확하고 안정적인 행렬 업데이트를 가능하게 하여 전체 정렬 정밀도를 향상시켰다.
• 타깃이 같은 깊이 평면에 있지 않은 경우에도 방법이 효과적으로 작동하며, 이는 약간의 성능 저하가 있긴 하지만, 타깃별 변환 행렬을 사용한 확장 가능성까지 시사한다.