[論文レビュー] On the Evaluation Metric for Hashing

Qing-Yuan Jiang, Mingwei Li+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 4

ひとこと要約

本論文は、バケット検索におけるハッシングの評価指標に内在する深刻な欠陥を特定し、MAP や precision@R といった指標が検索時間を見過ごし、ハミング半径に対して感受性が低いことについて指摘している。著者らは、検索効率と全ハミング半径におけるグローバルなパフォーマンスを統合する新しい指標 RAMAP（Radius Aware Mean Average Precision）を提案する。合成データおよび実世界のデータを用いた実験により、RAMAP が従来の指標よりもより信頼性が高く一貫性のある評価を提供することを示している。

ABSTRACT

Due to its low storage cost and fast query speed, hashing has been widely used for large-scale approximate nearest neighbor (ANN) search. Bucket search, also called hash lookup, can achieve fast query speed with a sub-linear time cost based on the inverted index table constructed from hash codes. Many metrics have been adopted to evaluate hashing algorithms. However, all existing metrics are improper to evaluate the hash codes for bucket search. On one hand, all existing metrics ignore the retrieval time cost which is an important factor reflecting the performance of search. On the other hand, some of them, such as mean average precision (MAP), suffer from the uncertainty problem as the ranked list is based on integer-valued Hamming distance, and are insensitive to Hamming radius as these metrics only depend on relative Hamming distance. Other metrics, such as precision at Hamming radius R, fail to evaluate global performance as these metrics only depend on one specific Hamming radius. In this paper, we first point out the problems of existing metrics which have been ignored by the hashing community, and then propose a novel evaluation metric called radius aware mean average precision (RAMAP) to evaluate hash codes for bucket search. Furthermore, two coding strategies are also proposed to qualitatively show the problems of existing metrics. Experiments demonstrate that our proposed RAMAP can provide more proper evaluation than existing metrics.

研究の動機と目的

• ハッシングの評価指標に内在する既存の欠陥、特にバケット検索の文脈における欠陥を特定し、体系的に分析すること。
• 現在の指標に検索時間コストが欠落していることの重大性を是正すること。これは、実世界のパフォーマンス評価において不可欠である。
• MAP がハミング半径に対して感受性がなく、precision@R がグローバルなパフォーマンス評価においてギャップを生じることを是正すること。
• バケット検索における正確性と効率性の両方を反映する包括的な新しい評価指標を提案すること。
• 定性的なコーディング戦略と実験的評価を通じて、提案指標の優位性を検証すること。

提案手法

• ハミング半径を重み付け要因として組み込むことで MAP を拡張する、新しい評価指標 RAMAP を導入する。
• RAMAP を、全ハミング半径における平均平均精度（MAP）の重み付き平均として定義し、重みはデータセット内のハミング距離の分布から導出する。
• 全ハミング距離スケールにわたるパフォーマンスを重視する半径感知重み付け方式を設計し、特定の1つの半径に限定されない。
• LSH 対 LSH SE、およびヒューリスティック対学習ベースのコーディングの2つのコーディング戦略を用いて、既存指標の限界を定性的に示す。
• 学習済みハッシュコードからインバーテッドインデックステーブルを構築し、検索時間と空きバケット率を測定し、これらを評価フレームワークに統合する。
• 複数のデータセットおよびコード長に対して、RAMAP を MAP、precision@R、再現率と比較し、妥当性と一貫性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ MAP や precision@R といった既存指標は、バケット検索におけるハッシングアルゴリズム同士の比較を信頼できなくなるのか？
• RQ2 現在の指標が検索時間コストを無視していることによって、ハッシングパフォーマンスの評価がどのように誤解を招くのか？
• RQ3 なぜ MAP はハミング半径に対して感受性がなく、それがアルゴリズム比較にどのように影響を与えるのか？
• RQ4 1つの指標が、全ハミング半径にわたる検索正確性と効率性を効果的に評価するにはどうすればよいか？
• RQ5 グローバルなパフォーマンスと検索時間の両方を統合する新しい指標は、従来のアプローチよりも一貫性があり信頼性の高い評価を提供できるか？

主な発見

• RAMAP は、DSH が最良のパフォーマンスを示し、12-DSH が最悪であるという理論的期待に一致する一貫したハッシングアルゴリズムの順位付けを実現し、MAP や precision@R を上回る。
• precision@R は、異なる半径で相反する結果を示すため、明確な順位付けを提供できない。例えば、4-DSH は高半径では DSH を上回るが、低半径では劣る。
• 検索時間コストはハミング半径に伴い指数関数的に増加するため、高半径での精度値が高くても実用的でない。RAMAP は時間感知重み付けによりこれを是正する。
• 空きバケット数は、特に 12-DSH において高半径検索で顕著に増加し、バケットの利用効率が低いことを示している。この要因は RAMAP が捉えている。
• CIFAR-10 における実験では、RAMAP は DSH が最良の手法であると正しく特定するが、MAP は値がほぼ同一のため、手法の区別がつかない。
• RAMAP は 48ビットと 64ビットの異なるコード長においても決定論的かつ一貫性のある評価を提供する。一方、MAP は変動が最小限で、識別力に欠ける。