[논문 리뷰] Optimizing Top Precision Performance Measure of Content-Based Image Retrieval by Learning Similarity Function

Ru‐Ze Liang, Lihui Shi외 5명|arXiv (Cornell University)|2016. 04. 22.

Advanced Computing and Algorithms참고 문헌 44인용 수 56

한 줄 요약

이 논문은 콘텐츠 기반 이미지 검색에서 상위 정밀도 측정값을 직접 최적화하기 위해 새로운 유사도 학습 방법인 최대 상위 정밀도 유사도(MTPS)를 제안한다. 문제를 첫 번째 부적절한 이미지 이전에 관련 이미지의 순위를 최대화하는 2차 프로그래밍 문제로 모델링함으로써, MTPS는 Caltech256 및 Indoor와 같은 벤치마크 데이터셋에서 OASIS 및 OMKS와 같은 최신 기법들을 능가하는 뛰어난 상위 정밀도 성능을 달성한다.

ABSTRACT

In this paper we study the problem of content-based image retrieval. In this problem, the most popular performance measure is the top precision measure, and the most important component of a retrieval system is the similarity function used to compare a query image against a database image. However, up to now, there is no existing similarity learning method proposed to optimize the top precision measure. To fill this gap, in this paper, we propose a novel similarity learning method to maximize the top precision measure. We model this problem as a minimization problem with an objective function as the combination of the losses of the relevant images ranked behind the top-ranked irrelevant image, and the squared Frobenius norm of the similarity function parameter. This minimization problem is solved as a quadratic programming problem. The experiments over two benchmark data sets show the advantages of the proposed method over other similarity learning methods when the top precision is used as the performance measure.

연구 동기 및 목표

• 기존의 유사도 학습 기법들이 콘텐츠 기반 이미지 검색에서 핵심 성능 지표인 상위 정밀도 측정값을 최적화하지 못하는 격차를 해결하기 위해.
• 관련 이미지의 순위를 첫 번째 부적절한 이미지 대비로 모델링하여 상위 정밀도를 직접 최대화하는 학습 프레임워크를 개발하기 위해.
• 유사도 함수의 매개변수 행렬의 정규화된 제곱 프로베니우스 노름을 통합하여 과적합을 방지하기 위해.
• 최적화 문제를 2차 프로그래밍 형태로 재구성함으로써 확장 가능하고 효율적인 솔루션을 제공하기 위해.
• 제안된 방법이 기존의 유사도 학습 알고리즘들보다 상위 정밀도 지표 하에서 우수한 성능을 보이는지 입증하기 위해.

제안 방법

• 유사도 함수를 선형 함수로 모델링: $ s(\mathbf{z}, \mathbf{x}) = \mathbf{z}^\top W \mathbf{x} $, 여기서 $ W $는 학습 가능한 매개변수 행렬이다.
• 상위 부적절한 이미지 $ \mathbf{x}_{\phi_i} $를 쿼리 $ \mathbf{z}_i $와 유사도 점수가 가장 높은 데이터베이스의 부적절한 이미지로 정의한다.
• 마진 제약 조건을 도입: 모든 관련 쌍 $ (\mathbf{z}_i, \mathbf{x}_j) $에 대해 $ s(\mathbf{z}_i, \mathbf{x}_j) > \max_{k:y_{ik}=0} s(\mathbf{z}_i, \mathbf{x}_k) + 1 $ 를 만족시켜 관련 이미지가 첫 번째 부적절한 이미지 이전에 순위가 오르도록 보장한다.
• 마진 제약 위반에 대해 페널티를 주는 허그 손실 기반 목적 함수를 구성하고, 과적합을 방지하기 위해 정규화항 $ \|W\|_F^2 $ 를 통합한다.
• 각 쿼리당 $ \beta_{ijk} $의 합에 대한 제약 조건을 포함한 이중 2차 프로그래밍(QP) 문제로 최적화 문제를 재구성한다.
• 활성 집합 알고리즘을 사용하여 이중 QP 문제를 해결하고, 이중 변수들로부터 $ W = \sum_{i,j,k} \beta_{ijk} \mathbf{z}_i \mathbf{z}_i^\top (\mathbf{x}_j - \mathbf{x}_k)(\mathbf{x}_{j'} - \mathbf{x}_{k'})^\top $ 를 통해 최적의 $ W $ 를 복원한다.

실험 결과

연구 질문

• RQ1 콘텐츠 기반 이미지 검색에서 상위 정밀도 측정값을 직접 최적화할 수 있는 유사도 학습 방법을 설계할 수 있는가?
• RQ2 학습 중에 관련 이미지의 순위를 첫 번째 부적절한 이미지 대비로 어떻게 모델링하고 강제로 설정할 수 있는가?
• RQ3 과적합을 방지하면서도 효과적인 유사도 함수 학습을 가능하게 하는 최적화 프레임워크는 무엇인가?
• RQ4 제안된 방법은 상위 정밀도 지표 하에서 기존의 유사도 학습 알고리즘들보다 성능과 효율성 면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 Caltech256 및 Indoor와 같은 다양한 벤치마크 이미지 데이터셋에서 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 MTPS 방법은 Caltech256 데이터셋에서 상위 정밀도가 0.18를 초과하여, 다른 방법들이 0.16 이하에 머물러 있던 것에 비해 뚜렷이 뛰어난 성능을 보였다.
• Indoor 데이터셋에서는 OASIS, OMKS, BD, SIKMA, VPDM와 비교해 여러 평가 지표에서 일관되고 뛰어난 성능을 보였다.
• 대부분의 비교 방법들보다 빠른 실행 시간을 보였으며, OASIS 및 OMKS를 제외한 대부분의 방법들보다 빠르다는 점에서 강력한 계산 효율성을 보였다.
• 이중 2차 프로그래밍 형태의 재구성은 상위 정밀도 목표의 효과적인 최적화와 강인한 일반화를 가능하게 하였다.
• 제곱 프로베니우스 노름 정규화항의 통합은 과적합을 효과적으로 방지하면서도 높은 순위 성능를 유지하는 데 기여하였다.
• 실험 결과는 상위 정밀도를 직접 최적화함으로써 표준 벤치마크에서 검색 효과성에 측정 가능한 향상이 이루어진다는 것을 확인시켰다.