[論文レビュー] Image Retrieval with Fisher Vectors of Binary Features

Yusuke Uchida, Shigeyuki Sakazawa+1 more|arXiv (Cornell University)|Sep 27, 2016

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、ベルヌーイ混合モデル（BMM）を用いた二値特徴のための最初の閉形式フィッシャー・ベクトル表現を提案し、従来の袋 of ビジュアル・ワード（BoVW）よりも顕著な精度向上を実現する画像検索を可能にする。本手法は事後確率の近似により計算を高速化し、性能損失を最小限に抑えつつ最大10倍の高速化を達成し、BoVW や既存の正規化手法を上回る性能を発揮する。

ABSTRACT

Recently, the Fisher vector representation of local features has attracted much attention because of its effectiveness in both image classification and image retrieval. Another trend in the area of image retrieval is the use of binary features such as ORB, FREAK, and BRISK. Considering the significant performance improvement for accuracy in both image classification and retrieval by the Fisher vector of continuous feature descriptors, if the Fisher vector were also to be applied to binary features, we would receive similar benefits in binary feature based image retrieval and classification. In this paper, we derive the closed-form approximation of the Fisher vector of binary features modeled by the Bernoulli mixture model. We also propose accelerating the Fisher vector by using the approximate value of posterior probability. Experiments show that the Fisher vector representation significantly improves the accuracy of image retrieval compared with a bag of binary words approach.

研究の動機と目的

• 連続的特徴（例：SIFT）で実証された強力なフィッシャー・ベクトル表現を、ORB や FREAK、BRISK などの二値特徴にも拡張すること。
• 現在、最適でない袋 of ビジュアル・ワード（BoVW）手法に依存している、二値特徴に対する有効な符号化手法の欠如に取り組むこと。
• 二値特徴のベルヌーイ混合モデル（BMM）におけるフィッシャー・ベクトルの閉形式近似を導出することにより、実用的導入を可能とすること。
• 事後確率の近似を用いて二値特徴のフィッシャー・ベクトル計算を高速化し、実行時間を1桁分短縮すること。

提案手法

• 各ビットをベルヌーイ分布に従う確率変数とみなして、二値特徴をベルヌーイ混合モデル（BMM）でモデル化する。
• 対角フィッシャー情報行列とピークを持つ事後確率の仮定の下で、モデルパラメータに関する対数尤度の勾配を計算し、BMM における閉形式フィッシャー・ベクトル表現を導出する。
• 計算コストを削減しながら高い精度を維持するため、成分割り当ての事後確率を最大占有確率で近似する。
• フィッシャー・ベクトルにパワー正規化とℓ₂正規化を適用し、VLAD に元々設計された正規化手法がフィッシャー・ベクトルの性能向上にも寄与することを示す。
• 正確な事後確率計算を、成分確率のargmaxに基づくヒューリスティックに置き換える高速近似手法を用い、10倍の高速化を達成しつつ、MAPスコアの低下を3–8%に抑える。
• 複数の二値特徴タイプを用いて標準的な画像検索ベンチマークで手法を検証し、BoVW や標準的な正規化手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 通常、BoVW でヒストグラムとしてモデル化される二値特徴に、フィッシャー・ベクトル表現を効果的に拡張できるか？
• RQ2 二値特徴をベルヌーイ混合モデル（BMM）でモデル化することで、単なるヒストグラムを越えた高次統計的情報を捉えることができる閉形式フィッシャー・ベクトルが得られるか？
• RQ3 画像検索精度に顕著な損失を伴わず、二値特徴のフィッシャー・ベクトル計算をどのように高速化できるか？
• RQ4 他のベクトル表現（例：VLAD）に特化した正規化手法が、提案された二値特徴のフィッシャー・ベクトルに対しても性能向上をもたらすか？
• RQ5 データベースサイズが異なる場合、提案手法のフィッシャー・ベクトルはBoVWと比べて、異なる物体カテゴリにおいてどのように検索精度に差をつけるか？

主な発見

• 提案された二値特徴のためのフィッシャー・ベクトル表現は、評価されたすべてのデータセットおよび物体カテゴリで、袋 of ビジュアル・ワード（BoVW）ベースラインを顕著に上回る。
• パワー正規化とℓ₂正規化を施したフィッシャー・ベクトルは、正規化を施さないバージョンよりも著しく優れた性能を示し、最適な結果を得るには正規化が不可欠であることを示している。
• 高速近似手法により、計算時間が1桁分（10倍）短縮された一方で、異なるデータセットにおいて平均平均精度（MAP）が3–8%低下したにとどまり、性能損失は最小限であった。
• 元々VLADに設計された正規化手法が、二値特徴のフィッシャー・ベクトルに対しても効果的に機能し、従来の正規化手法を上回った。
• データベースサイズが大きくなるにつれて、フィッシャー・ベクトルとBoVWとの性能差が顕著に拡大し、スケーラビリティとロバスト性が示された。
• 最大占有確率を用いた事後確率の近似は、N=512でも57%の精度を達成しており、実世界の応用において実用的であることを裏付けた。