[論文レビュー] Optimizing Top Precision Performance Measure of Content-Based Image Retrieval by Learning Similarity Function

Ru‐Ze Liang, Lihui Shi+5 more|arXiv (Cornell University)|Apr 22, 2016

Advanced Computing and Algorithms参考文献 44被引用数 56

ひとこと要約

本稿では、コンテンツベース画像検索におけるトップ精度という測定基準を直接最適化することを目的として、最大トップ正解類似度（MTPS）と呼ばれる新しい類似度学習手法を提案する。問題を、関連する画像が最初の不関連画像より上位にランク付けされるように最適化する二次計画問題としてモデル化することで、Caltech256 や Indoor といったベンチマークデータセットにおいて、OASIS や OMKS などの最先端手法を上回るトップ精度の性能を達成する。

ABSTRACT

In this paper we study the problem of content-based image retrieval. In this problem, the most popular performance measure is the top precision measure, and the most important component of a retrieval system is the similarity function used to compare a query image against a database image. However, up to now, there is no existing similarity learning method proposed to optimize the top precision measure. To fill this gap, in this paper, we propose a novel similarity learning method to maximize the top precision measure. We model this problem as a minimization problem with an objective function as the combination of the losses of the relevant images ranked behind the top-ranked irrelevant image, and the squared Frobenius norm of the similarity function parameter. This minimization problem is solved as a quadratic programming problem. The experiments over two benchmark data sets show the advantages of the proposed method over other similarity learning methods when the top precision is used as the performance measure.

研究の動機と目的

• 既存の類似度学習手法がトップ精度というコンテンツベース画像検索における重要なパフォーマンス指標を最適化しないというギャップに対処すること。
• 関連する画像のランク付けを、最初の不関連画像に対して直接最大化する学習フレームワークを構築すること。
• 類似度関数のパラメータ行列の正則化された二乗フロベニウスノルムを組み込むことで過学習を防止すること。
• 最適化問題の二次計画問題としての定式化により、スケーラブルで効率的なソリューションを提供すること。
• 提案手法が既存の類似度学習アルゴリズムに対して、トップ精度指標の下で優れた性能を示すことを実証すること。

提案手法

• 類似度関数を線形関数としてモデル化：$ s(\mathbf{z}, \mathbf{x}) = \mathbf{z}^\top W \mathbf{x} $、ここで $ W $ は学習可能なパラメータ行列。
• トップ不関連画像 $ \mathbf{x}_{\phi_i} $ を、クエリ $ \mathbf{z}_i $ に対して類似度スコアが最大の不関連データベース画像として定義する。
• マージン制約を課す：すべての関連ペア $ (\mathbf{z}_i, \mathbf{x}_j) $ に対して $ s(\mathbf{z}_i, \mathbf{x}_j) > \max_{k:y_{ik}=0} s(\mathbf{z}_i, \mathbf{x}_k) + 1 $ を満たすことで、関連する画像が最初の不関連画像の上位にランク付けされることを保証する。
• マージン制約の違反をペナルティとするヒンジ損失に基づく目的関数を構築し、過学習を防止するための正則化項 $ \|W\|_F^2 $ を組み合わせる。
• 最適化問題を、各クエリごとに $ \beta_{ijk} $ の合計に制約を課した双対二次計画問題（QP）に再定式化する。
• アクティブセット法を用いて双対 QP を解き、$ W = \sum_{i,j,k} \beta_{ijk} \mathbf{z}_i \mathbf{z}_i^\top (\mathbf{x}_j - \mathbf{x}_k)(\mathbf{x}_{j'} - \mathbf{x}_{k'})^\top $ を介して最適な $ W $ を回復する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツベース画像検索におけるトップ精度測定基準を直接最適化できる類似度学習手法を設計できるか？
• RQ2 トレーニング中に、関連する画像のランク付けを最初の不関連画像に対してモデル化・強制することは可能か？
• RQ3 過学習を防止しながら類似度関数の効果的な学習を可能にする最適化フレームワークは何か？
• RQ4 提案手法は、トップ精度指標の下で、既存の類似度学習アルゴリズムと比較して性能および効率性に優れているか？
• RQ5 提案手法は、Caltech256 や Indoor のような多様なベンチマーク画像データセットにおいて、効果的に一般化できるか？

主な発見

• 提案された MTPS 手法は、Caltech256 データセットでトップ精度が 0.18 を超える高い性能を達成し、他の手法が達成した 0.16 未満のトップ精度を著しく上回っている。
• Indoor データセットでは、OASIS、OMKS、BD、SIKMA、VPDM と比較して、複数の評価指標において一貫した優れた性能を示している。
• MTPS は、OASIS や OMKS を除き、他の比較手法と比較して高速な実行時間を示しており、強力な計算効率性を示している。
• 双対二次計画問題の定式化により、トップ精度の目的関数に対する効果的な最適化と頑健な一般化性能が実現されている。
• 二乗フロベニウスノルム正則化項の統合により、過学習が効果的に防止されつつ、高いランク付け性能が維持されている。
• 実験的結果から、トップ精度を直接最適化することで、標準ベンチマークにおける検索効果性に顕著な向上が得られることを確認した。