[논문 리뷰] TRIM: Triangulating Images for Efficient Registration

Chun Pang Yung, Gary P. T. Choi외 2명|arXiv (Cornell University)|2016. 05. 20.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

TRIM은 주요 이미지 특징을 유지하는 최적의 거친 삼각분할을 계산하여 영상 및 비디오 프레임 정렬을 가속화하는 삼각분할 기반 방법을 제안한다. 기존의 격자 기반 접근 방식에 비해 계산 시간을 크게 줄이면서도 높은 정렬 정확도를 유지한다.

ABSTRACT

With the advancement in the digital camera technology, the use of high resolution images and videos has been widespread in the modern society. In particular, image and video frame registration is frequently applied in computer graphics and film production. However, the conventional registration approaches usually require long computational time for high quality images and video frames. This hinders the applications of the registration approaches in the modern industries. In this work, we propose a novel approach called {\em TRIM} to accelerate the computations of the registration by triangulating the images. More specifically, given a high resolution image or video frame, we compute an optimal coarse triangulation which captures the important features of the image. Then, the computation of the registration can be simplified with the aid of the coarse triangulation. Experimental results suggest that the computational time of the registration is significantly reduced using our triangulation-based approach, meanwhile the accuracy of the registration is well retained when compared with the conventional grid-based approach.

연구 동기 및 목표

• 고해상도 영상 및 비디오 프레임에 대한 기존 영상 정렬 방법의 긴 계산 시간 문제를 해결하기 위해.
• 실시간 또는 근접 실시간 정렬이 필요한 컴퓨터 그래픽스 및 영화 제작 워크플로우에서 효율성을 향상시키기 위해.
• 처리 시간을 극적으로 줄이면서도 높은 정렬 정확도를 유지하는 방법을 개발하기 위해.
• 격자 기반 정렬을 삼각분할 기반 접근 방식으로 대체하여 기능 유지의 거친 메esh를 통해 계산을 단순화하기 위해.

제안 방법

• 높은 해상도의 영상 또는 비디오 프레임에 대해 주요 특징을 포착할 수 있는 최적의 거친 삼각분할을 계산하는 것으로 시작한다.
• 이 거친 삼각분할은 후속 정렬 계산을 위한 간소화된 기하학적 표현으로 기능한다.
• 전체 해상도 픽셀 격자 대신 삼각형 메쉬 위에서 연산함으로써 정렬 프로세스가 가속화된다.
• 정확한 정렬을 위해 핵심적인 기하학적 및 텍스처적 특징을 유지하도록 삼각분할이 최적화된다.
• 삼각분할 메쉬의 희소성과 구조적 특성을 활용하여 계산 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 이미지의 거친 삼각분할이 정확한 정렬을 위해 충분한 기하학적 및 텍스처적 특징을 유지할 수 있는가?
• RQ2 격자 기반 정렬을 삼각분할 기반 접근 방식으로 대체함으로써 계산 시간을 얼마나 줄일 수 있는가?
• RQ3 기존 격자 방법 대비 삼각분할을 사용할 경우 정렬 정확도가 어느 정도 유지되는가?
• RQ4 기능 유지와 계산 효율성의 균형을 고려할 때 최적의 거친 삼각분할을 계산하는 방법은 무엇인가?

주요 결과

• 기존의 격자 기반 방법에 비해 TRIM 접근 방식을 사용할 경우 영상 정렬에 소요되는 계산 시간이 크게 감소한다.
• 제안된 방법은 높은 정렬 정확도를 유지하며 기존의 전통적 방법과 밀도 있는 결과를 보인다.
• 거친 삼각분할은 핵심 이미지 기능을 효과적으로 포착하여 데이터 복잡도를 낮추면서도 정확한 정렬을 가능하게 한다.
• 삼각분할 기반 계산은 정렬 파이프라인을 단순화하여 실시간 또는 고처리량 응용 분야에 더 적합하게 한다.