[論文レビュー] Lie Algebrized Gaussians for Image Representation

Liyu Gong, Meng Chen+1 more|arXiv (Cornell University)|Apr 3, 2013

Medical Image Segmentation Techniques参考文献 1被引用数 4

ひとこと要約

本論文は、画像から抽出されたガウス混合モデル（GMM）を、普遍背景モデル（UBM）を中心とするリー群多様体の接空間にマッピングすることで、ベクトル空間に変換する新しい画像表現手法であるLie Algebrized Gaussians（LAG）を提案する。GMMの各成分をリー群の接空間に写像することにより、局所的な幾何的構造を保持し、単純な最近傍重心分類器を用いて15Scenesベンチマークで88.4%の最先端性能を達成した。

ABSTRACT

We present an image representation method which is derived from analyzing Gaussian probability density function (\emph{pdf}) space using Lie group theory. In our proposed method, images are modeled by Gaussian mixture models (GMMs) which are adapted from a globally trained GMM called universal background model (UBM). Then we vectorize the GMMs based on two facts: (1) components of image-specific GMMs are closely grouped together around their corresponding component of the UBM due to the characteristic of the UBM adaption procedure; (2) Gaussian \emph{pdf}s form a Lie group, which is a differentiable manifold rather than a vector space. We map each Gaussian component to the tangent vector space (named Lie algebra) of Lie group at the manifold position of UBM. The final feature vector, named Lie algebrized Gaussians (LAG) is then constructed by combining the Lie algebrized Gaussian components with mixture weights. We apply LAG features to scene category recognition problem and observe state-of-the-art performance on 15Scenes benchmark.

研究の動機と目的

• GMMに基づく画像表現のベクトル化という課題に取り組むこと。これは、自然にベクトル空間を形成しない。
• ガウス確率密度関数（pdf）がもつ内在的な幾何的構造（リー群としての性質）を活用すること。
• リー代数へのマッピングにより、GMM成分の多様体構造を保持することで、画像表現を向上させること。
• 特にKLダイバージェンスに基づく手法と比較して、シーンカテゴリ認識の分野で優れた性能を発揮すること。
• 最近傍重心分類器を用いたシンプルでありながら強力な分類パイプラインにおいて、LAGの有効性を示すこと。

提案手法

• MAP適応により事前に学習された普遍背景モデル（UBM）から、MAP適応を用いて画像をガウス混合モデル（GMM）でモデル化する。
• 各GMM成分を、ガウスpdfと同型な上三角正定値アフィン変換（UTDAT）行列として表現する。
• UTDAT行列がリー群を形成することに着目し、GMM成分が滑らかな多様体上に存在することを認識する。
• 各画像固有のGMM成分を、対応するUBM成分の位置におけるリー群の接空間（リー代数）にマッピングする。
• Lie代数化された成分とその混合重みを、積和近似を用いて組み合わせて最終的なLAG特徴を構築する。
• 分類の前に、クラス内ばらつきを低減するため、判別的ネイジス属性射影（NAP）を適用する。

実験結果

リサーチクエスチョン

• RQ1 リー群理論を用いることで、従来の手法よりも効果的なGMMベースの画像表現のベクトル化法を導出できるか？
• RQ2 ガウスpdfの多様体構造をリー代数へのマッピングにより保持することで、認識性能にどのような影響を与えるか？
• RQ3 UBMに基づくアライメントによる共分散情報の統合と平均値の中央化は、KLダイバージェンスベースの手法と比較して、GMMのベクトル化をどのように向上させるか？
• RQ4 GMM成分数の異なる状況において、LAG表現はどの程度一般化可能か？
• RQ5 最小限の分類パイプラインで、LAGはシーンカテゴリ認識において最先端の性能を達成できるか？

主な発見

• LAG特徴は15Scenesベンチマークで平均88.4%の精度を達成し、最先端手法を上回った。
• 共分散情報を含まない簡略化版LAG（reduced LAG）は87.36%の精度を達成し、KLVecよりも顕著に性能が向上していることが示された。
• LAGに共分散情報を組み込むことで、簡略化版LAGと比較して1%の精度向上が確認され、その価値が裏付けられた。
• 32～1024の全テスト成分数において、LAGは常に簡略化版LAGおよびKLVecを上回った。
• 32成分のみでも86.41%の精度を達成しており、高い効率性とロバストネスを示した。
• 本研究におけるKLVecベースラインの精度は83.84%であったが、先行研究で報告された84.27%よりも低かった。これは、ガウスマップなどの空間情報の欠落が原因である可能性が高い。