[論文レビュー] Mean Local Group Average Precision (mLGAP): A New Performance Metric for Hashing-based Retrieval

Pak Lun Kevin Ding, Yikang Li+1 more|arXiv (Cornell University)|Nov 24, 2018

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、検索精度とハッシュコードの利用度の両方をバランスさせる新しい評価指標である Mean Local Group Average Precision (mLGAP) を提案する。mAPとは異なり、コード衝突の悪影響を考慮するため、mLGAP は劣悪なコード分散をペナルティ化し、実世界の検索性能をより正確に反映する。CIFAR-10 および CIFAR-100 における実験では、コードの均一性が向上し、順序付けの信頼性が一貫していることが示された。

ABSTRACT

The research on hashing techniques for visual data is gaining increased attention in recent years due to the need for compact representations supporting efficient search/retrieval in large-scale databases such as online images. Among many possibilities, Mean Average Precision(mAP) has emerged as the dominant performance metric for hashing-based retrieval. One glaring shortcoming of mAP is its inability in balancing retrieval accuracy and utilization of hash codes: pushing a system to attain higher mAP will inevitably lead to poorer utilization of the hash codes. Poor utilization of the hash codes hinders good retrieval because of increased collision of samples in the hash space. This means that a model giving a higher mAP values does not necessarily do a better job in retrieval. In this paper, we introduce a new metric named Mean Local Group Average Precision (mLGAP) for better evaluation of the performance of hashing-based retrieval. The new metric provides a retrieval performance measure that also reconciles the utilization of hash codes, leading to a more practically meaningful performance metric than conventional ones like mAP. To this end, we start by mathematical analysis of the deficiencies of mAP for hashing-based retrieval. We then propose mLGAP and show why it is more appropriate for hashing-based retrieval. Experiments on image retrieval are used to demonstrate the effectiveness of the proposed metric.

研究の動機と目的

• mAP がハッシュコードの利用度を軽視するという根本的な欠陥を是正すること。これにより、高い衝突率と劣悪なコード分散が生じる。
• 検索精度とバイナリ空間内でのハッシュコード分布の均一性を同時に評価する性能指標の開発。
• 高い mAP 値が、コード衝突の増加により必ずしも優れた検索性能を示すわけではないことを示すこと。
• mLGAP が、検索順序の変化に強く、コード利用度に敏感であるため、より信頼性が高く実用的な評価が可能であることを示すこと。
• 改善されたコード均一性が、ハッシュ空間内での意味的・視覚的類似性を保持することを検証すること。

提案手法

• mAP をもとにした新たな指標 mLGAP を提案。局所的グループ平均精度を組み込むことで、精度とコード分散の両方を反映する。
• mAP がコード衝突をペナルティ化しない欠陥を数学的に分析し、mAP の最大化がハッシュ空間の利用度を著しく低下させることを示す。
• 同様のサンプルが同一のハミング距離を持つのを避けるために、損失関数にバッファゾーン機構を導入。これにより、衝突リスクが低減する。
• ハミング距離に L1 範囲を用いた修正された目的関数を設計し、マージンに基づく制約（例：r₁, r₂）を導入してクラス内コードの近接度を制御する。
• 3層の畳み込み層および2層の全結合層を持つ深層ニューラルネットワーク（例：DSH）に新しい損失関数を適用。CIFAR-10 および CIFAR-100 で 12 ビットコードを用いて学習。
• ヒューリスティックなマージン値を設定：CIFAR-100 では r₁ = k/12, r₂ = k/6, r₃ = k/6, r₄ = k/3 とし、CIFAR-10 では r₁ = k/6, r₂ = k/3 とする。m = 2k を用いて最小分離を強制する。

実験結果

リサーチクエスチョン

• RQ1 mAP はハッシュコードの利用度や衝突率を無視するため、真の検索性能を正しく反映していないのだろうか？
• RQ2 検索精度とコード分散の両方をバランスさせる新しい指標を設計できるか？
• RQ3 同じモデルを異なるコード分布パターンで評価した場合、mLGAP は mAP よりも優れた性能を示すのか？
• RQ4 新しい損失関数は、検索精度を維持または向上させながら、コード均一性をどの程度向上させるのか？
• RQ5 mAP とは異なり、mLGAP は検索順序の変化に対して頑健であるのだろうか？

主な発見

• 提案された mLGAP 指標は、検索精度とハッシュコード利用度の両方を効果的に捉えており、mAP よりもよりバランスの取れた評価が可能である。
• 新しい目的関数で学習したモデルは、12 ビットハッシュコードの使用において著しく均一性が向上しており、図 8 に可視化されている。これにより、コード衝突が低減された。
• CIFAR-10 では、mLGAP 値が高いモデルが、mAP が最高でない場合でも優れたコード分散を示しており、mLGAP が優れたシステムを検出できる能力を示している。
• バッファゾーンを備えた新しい損失関数により、同じクラスのサンプルが同一コードに過剰に集中するのを防ぎ、ハッシュ空間内での意味的類似性が保持された。
• mLGAP は検索順序の変化に対して頑健である一方、mAP は衝突に敏感なため、異なる順序で著しいばらつきを示す。
• CIFAR-10 および CIFAR-100 における実験から、コード均一性の向上が、ハッシュ空間内での視覚的および意味的類似性の保持に寄与することが明らかになった。