[論文レビュー] Optimizing Ranking Measures for Compact Binary Code Learning

Guosheng Lin, Chunhua Shen+1 more|arXiv (Cornell University)|Jul 4, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 6

ひとこと要約

本稿では、AUC や NDCG などの多次元順序付け評価指標を直接最適化することで、コン pact なバイナリコード学習に適した新しいフレームワーク StructHash を提案する。指数的に多数の制約集合を扱うために、列生成法とカットプレーン法を組み合わせた手法を用いる。画像検索ベンチマークにおいて、学習目的関数を検索評価基準に直接一致させることで、最先端の性能を達成する。

ABSTRACT

Hashing has proven a valuable tool for large-scale information retrieval. Despite much success, existing hashing methods optimize over simple objectives such as the reconstruction error or graph Laplacian related loss functions, instead of the performance evaluation criteria of interest---multivariate performance measures such as the AUC and NDCG. Here we present a general framework (termed StructHash) that allows one to directly optimize multivariate performance measures. The resulting optimization problem can involve exponentially or infinitely many variables and constraints, which is more challenging than standard structured output learning. To solve the StructHash optimization problem, we use a combination of column generation and cutting-plane techniques. We demonstrate the generality of StructHash by applying it to ranking prediction and image retrieval, and show that it outperforms a few state-of-the-art hashing methods.

研究の動機と目的

• 標準的なハッシング目的関数（例：再構成誤差）と、AUC や NDCG などの実際の検索性能指標とのギャップを埋めること。
• ハッシングにおいて複雑な多次元評価基準を直接最適化できる汎用性の高いフレームワークを開発すること。
• 指数的に多数の制約を含む順序付けベースの目的関数を効率的に最適化できること。
• 単純な損失関数を間接的に最適化するのではなく、検索指標を直接最適化することで性能が向上することを示すこと。
• 大規模データセットにおける性能向上を図るため、カーネル化されたハッシングへの拡張を可能とすること。

提案手法

• StructHash は、順序付け性能を最適化するバイナリコード学習を構造的出力学習問題として定式化し、出力として一連のバイナリコードを生成する。
• 構造的 SVM フレームワークを用いて、バイナリコードの同時予測をモデル化し、AUC および NDCG を根拠とする損失関数を導入して検索品質を反映する。
• 最適化問題は、列生成法とカットプレーン法を組み合わせたハイブリッド手法で解き、指数的多数の潜在的制約を処理する。
• 列生成法は、トレーニング中に最も違反が激しい制約を動的に同定することで、計算負荷を低減する。
• カットプレーン法は、目的関数の改善に寄与する制約を段階的に追加することで、解を繰り返し精緻化する。
• 入力データにランダム特徴マップを適用することで、ハッシュコード空間における非線形境界を実現する。

実験結果

リサーチクエスチョン

• RQ1 AUC や NDCG などの多次元順序付け評価指標を直接最適化することで、単純な損失関数を間接的に最適化する手法よりも、バイナリハッシングの性能が向上するか？
• RQ2 指数的に多数の制約を含む最適化問題を効率的に解くにはどうすればよいか？
• RQ3 提案されたフレームワークは、異なる種類のデータセットや検索評価指標に一般化可能か？
• RQ4 カーネル化されたバージョンの手法は、大規模な画像検索タスクにおいてさらなる性能向上をもたらすか？
• RQ5 NDCG、mAP、および Precision-at-K の観点から、StructHash は最先端のハッシング手法と比べてどのように差をつけるか？

主な発見

• NDCG 損失を用いた StructHash は、CIFAR10 や MNIST、Flickr-1M や SIFT-1M といった大規模データセットも含む9つのデータセットにおいて、他の教師ありおよび教師なしハッシング手法を上回る性能を示した。
• NDCG 指標において、64ビットまでの全ビット長において、StructHash が最も優れた性能を達成した。特に、位置に敏感な検索において顕著な優位性を示した。
• 三重組み合わせに基づく手法である CGH よりも、Precision-at-K、mAP、および Precision-Recall において優れた性能を示し、位置に敏感な指標を最適化することの利点を裏付けた。
• カーネル化された StructHash は、大規模データセットにおいて KSH よりも優れた性能を達成し、カーネル法と直接的な順序付け最適化を組み合わせた有効性を示した。
• 学習目的関数と評価基準の乖離を効果的に低減し、複数の指標において検索品質が向上した。
• 大規模データセットでたった 2000 個のトレーニングサンプルでも、StructHash は強固でスケーラブルな性能を維持した。