[논문 리뷰] Tight Approximation of Image Matching

Simon Korman, Daniel Reichman외 1명|arXiv (Cornell University)|2011. 11. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 애핀 및 강도 변환 하에서 두 개의 $n\times n$ 회색조 이미지 간의 이미지 매칭을 근사하기 위한 하위선형 알고리즘을 제시한다. 일반적인 이미지에 대해서는 $\tilde{O}(n/\epsilon^2)$의 질의 복잡도를 달성하며, 총 기울기 변동이 $O(n)$인 부드러운 이미지에 대해서는 $\tilde{O}(1/\epsilon^2\delta^8)$로 크게 향상되어 $O(\delta + \epsilon)$의 덧셈 오차를 제공한다.

ABSTRACT

In this work we consider the {\em image matching} problem for two grayscale $n imes n$ images, $M_1$ and $M_2$ (where pixel values range from 0 to 1). Our goal is to find an affine transformation $T$ that maps pixels from $M_1$ to pixels in $M_2$ so that the differences over pixels $p$ between $M_1(p)$ and $M_2(T(p))$ is minimized. Our focus here is on sublinear algorithms that give an approximate result for this problem, that is, we wish to perform this task while querying as few pixels from both images as possible, and give a transformation that comes close to minimizing the difference. We give an algorithm for the image matching problem that returns a transformation $T$ which minimizes the sum of differences (normalized by $n^2$) up to an additive error of $ε$ and performs $ ilde{O}(n/ε^2)$ queries. We give a corresponding lower bound of $Ω(n)$ queries showing that this is the best possible result in the general case (with respect to $n$ and up to low order terms). In addition, we give a significantly better algorithm for a natural family of images, namely, smooth images. We consider an image smooth when the total difference between neighboring pixels is O(n). For such images we provide an approximation of the distance between the images to within an additive error of $ε$ using a number of queries depending polynomially on $1/ε$ and not on $n$. To do this we first consider the image matching problem for 2 and 3-dimensional {\em binary} images, and then reduce the grayscale image matching problem to the 3-dimensional binary case.

연구 동기 및 목표

• 최소한의 픽셀 질의 수로 두 개의 $n\times n$ 회색조 이미지 간의 이미지 매칭을 근사하는 하위선형 알고리즘을 설계하기 위해.
• 애핀 및 강도 변환 하에서 변환된 이미지 $M_1$과 목표 이미지 $M_2$ 사이의 거리를 최소화하기 위해.
• 정규화된 차이 합에서 $\epsilon$의 덧셈 오차를 달성하면서도 하위선형 질의 복잡도를 사용하기 위해.
• 이웃 픽셀 차이의 총 변동이 $O(n)$인 부드러운 이미지에 대해 더 날카운 근사치를 제공하기 위해.

제안 방법

• 픽셀 강도 $g$를 제3차원에서 $\lfloor gn \rfloor$개의 1로 이루어진 열로 인코딩하여 2차원 회색조 이미지 매칭 문제를 3차원 이진 이미지 매칭 문제로 환원한다.
• 2차원 애핀 성분을 유지하면서 제3차원(강도) 차원을 스케일링 및 이동시키는 제한된 3차원 애핀 변환의 $\delta n$-커버를 사용한다.
• 무작위 표본 추출 및 추정 기법을 적용하여 커버 내 최적 변환 하에서 이미지 간의 거리를 근사한다.
• 총 기울기 변동이 $O(n)$인 부드러운 이미지의 구조를 활용하여 질의 복잡도를 $n$과 무관하게 유지하고, $1/\epsilon$과 $1/\delta$에만 의존하도록 한다.
• 원래의 회색조 이미지 간의 거리가 해당하는 변환 하에서 3차원 이진 표현 간의 거리와 동일하다는 것을 증명한다.
• 집중 경계와 확률적 분석을 사용하여 $O(\delta + \epsilon)$의 덧셈 오차 내에서 고확률 근사치를 보장한다.

실험 결과

연구 질문

• RQ1 일반적인 회색조 이미지에 대해 애핀 및 강도 변환 하에서 하위선형 질의 복잡도로 이미지 매칭을 근사할 수 있는가?
• RQ2 일반적인 이미지에 대해 근사 오차 $\epsilon$과 질의 복잡도 사이의 최적 트레이드오프는 무엇인가?
• RQ3 총 기울기 변동이 유한한 부드러운 이미지에 대해 훨씬 더 나은 질의 복잡도를 달성할 수 있는가?
• RQ4 2차원 회색조 이미지에서 3차원 이진 이미지로의 환원이 변환 하에서 이미지 매칭 거리를 어떻게 유지하는가?
• RQ5 일반적인 경우에서 이미지 매칭을 근사하기 위한 질의 복잡도의 이론적 하한은 무엇인가?

주요 결과

• 일반적인 $n\times n$ 회색조 이미지에 대해, 알고리즘은 $\tilde{O}(n/\epsilon^2)$의 질의 수로 $O(\epsilon)$의 덧셈 오차를 달성하며, 로그 인자 수준에서 최적이다.
• 일반적인 이미지에 대해 $\Omega(n)$의 질의 수에 해당하는 하한이 증명되었으며, 이는 $\tilde{O}(n/\epsilon^2)$가 하위선형 복잡도로 가능한 최고의 복잡도임을 보여준다.
• 총 기울기 변동이 $O(n)$인 부드러운 이미지에 대해 질의 복잡도는 $\tilde{O}(1/\epsilon^2\delta^8)$로 감소하며, $n$과 무관하고 덧셈 오차는 $O(\delta + \epsilon)$이다.
• 2차원 회색조 이미지에서 3차원 이진 이미지로의 환원이 해당 변환 하에서 거리를 유지하므로 기존의 이진 이미지 알고리즘을 활용할 수 있다.
• 알고리즘은 고확률로 최적의 변환에 근접한 근사를 위해 제한된 3차원 애핀 변환의 $\delta n$-커버를 사용한다.
• 무작위 표본 추출과 이미지의 부드러움에 대한 구조적 가정을 결합하여 일반 케이스의 한계를 크게 뛰어넘는 날카운 근사치를 달성한다.