[論文レビュー] Understanding the Fisher Vector: a multimodal part model

David Novotný, Diane Larlus+2 more|arXiv (Cornell University)|Apr 18, 2015

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、Fisher Vector (FV) 物体検出器が、固定された視覚語彙のセットを通じてマルチモーダルな外観を捉える部分ベースモデルとして機能することを提案する。小さなコードブックを使用しても、FVはマルチモーダル分布を介して複雑な外観変動を暗黙的にモデル化することで強力な性能を達成し、ピクセル部およびコンponentレベルでのスパarsityを示す。これにより、精度の損失を最小限に抑えつつ顕著な計算高速化が可能となる。

ABSTRACT

Fisher Vectors and related orderless visual statistics have demonstrated excellent performance in object detection, sometimes superior to established approaches such as the Deformable Part Models. However, it remains unclear how these models can capture complex appearance variations using visual codebooks of limited sizes and coarse geometric information. In this work, we propose to interpret Fisher-Vector-based object detectors as part-based models. Through the use of several visualizations and experiments, we show that this is a useful insight to explain the good performance of the model. Furthermore, we reveal for the first time several interesting properties of the FV, including its ability to work well using only a small subset of input patches and visual words. Finally, we discuss the relation of the FV and DPM detectors, pointing out differences and commonalities between them.

研究の動機と目的

• Fisher Vector (FV) 検出器が、小さな視覚コードブックと粗い幾何情報しか使用しないにもかかわらず、なぜ強力な性能を発揮するのかを理解すること。
• FV 検出器が、可変部分モデル（Deformable Part Models: DPMs）と同様に部分ベースモデルとして解釈可能かどうかを調査すること。
• FV 検出器のピクセル部および視覚語彙レベルにおけるスパarsity特性を明らかに・定量すること。
• FV と DPM の間の外観変動のモデル化における類似点と相違点を明確にすること。
• パッチおよびガウス成分のプルーニングに対して、FV 検出器の性能劣化が著しくないかを評価すること。

提案手法

• SIFT特徴量と、ハードアサインメントを用いてピクセル部を成分に割り当てるガウス・ミックスチャネル・モデル（GMM）を用いて、先行研究からのFV検出パイプラインを再実装した。
• 各ピクセル部および成分ごとに、GMMの平均からの正規化差分および二乗偏差を用いて、一次および二次の統計量（Fisherベクトル成分）を計算した。
• ガウス成分レベルでのスパarsityを誘導するために、FV分類器の重みにグループラasso正則化を適用した。これにより、情報のない成分の削除が促進された。
• 二段階の訓練プロセスを採用した：まずグループラassoを用いて関連する成分を同定し、その後標準的なℓ₂正則化SVMで微調整して性能を回復させた。
• スパarsityを評価するために、スコアが低いパーセンテージのパッチおよびガウス成分を順次削除し、平均平均適合率（mAP）への影響を測定した。
• FV検出器の可視化を行い、部分のような構造とマルチモーダルな外観モデル化を分析し、DPMの可視化結果と比較した。

実験結果

リサーチクエスチョン

• RQ1 Fisher Vector検出器は、複雑でマルチモーダルな外観を捉える部分として意味的に解釈可能か？
• RQ2 FVモデルは、明示的な空間的変形なしに、限定された視覚コードブックと組み合わせて、多様な物体外観をどのように捉えているか？
• RQ3 パッチおよびガウス成分のプルーニングをどの程度まで行えるか、性能の著しい低下なしに？
• RQ4 FVとDPMの間の部分モデル化およびスパarsityの観点での主な類似点と相違点は何か？
• RQ5 グループラasso正則化と微調整の組み合わせが、FVモデルにおけるスパarsity誘導中に性能をどのように保持しているか？

主な発見

• FV検出器はピクセル部レベルでのスパarsityを示す：スコアが最も低い80％のパッチを削除しても、mAPで測定した検出性能にほとんど影響がない。
• FV検出器は成分レベルでのスパarsityを示す：ガウス成分の50％までを削除してもmAPの低下はわずかであり、特にグループラasso正則化後に微調整を施した場合には顕著に顕著である。
• FVモデルは、各部分ごとの分布の積を通じてマルチモーダルな外観を捉え、指数的数の外観組み合わせを暗黙的にモデル化することで、外観変動に対する頑健性を説明できる。
• 明示的な空間的変形がないにもかかわらず、豊富でマルチモーダルな外観モデル化を有する固定された部分セットを活用することで、FV検出器はDPMと同等の性能を達成している。
• グループラasso正則化とℓ₂微調整の組み合わせにより、効果的なスパarsity誘導が可能となり、推論時の比例的高速化を実現しながら検出精度を維持できる。
• 可視化結果から、FV検出器に解釈可能な部分のような構造が存在することが確認され、FVがマルチモーダルな部分モデルとして解釈可能であることを裏付けた。