[論文レビュー] Learning Graphical Models of Images, Videos and Their Spatial Transformations

Brendan J. Frey, Nebojša Jojić|arXiv (Cornell University)|Jan 16, 2013

Image Retrieval and Classification Techniques参考文献 8被引用数 34

ひとこと要約

本稿では、混合ガウス分布や隠れマルコフモデルのような確率的モデルに離散的空間変換変数（例えば、平行移動、ねじれ変形）を統合することで、画像および動画に対する変換不変なグラフィカルモデルを提案する。EMアルゴリズムを用いることで、入力変換に対して頑健なクラスタリング、次元削減、時系列解析が可能となり、顕微鏡画像のノイズ除去、顔のクラスタリング、数字認識、動画オブジェクトトラッキング（不要物除去付き）において最先端の性能を達成する。

ABSTRACT

Mixtures of Gaussians, factor analyzers (probabilistic PCA) and hidden Markov models are staples of static and dynamic data modeling and image and video modeling in particular. We show how topographic transformations in the input, such as translation and shearing in images, can be accounted for in these models by including a discrete transformation variable. The resulting models perform clustering, dimensionality reduction and time-series analysis in a way that is invariant to transformations in the input. Using the EM algorithm, these transformation-invariant models can be fit to static data and time series. We give results on filtering microscopy images, face and facial pose clustering, handwritten digit modeling and recognition, video clustering, object tracking, and removal of distractions from video sequences.

研究の動機と目的

• 画像および動画における平行移動やねじれ変形などの空間的変換に対して不変である確率的グラフィカルモデルの開発。
• 混合ガウス分布や隠れマルコフモデルといった標準モデルを、より頑健にするために離散的変換変数を組み込むことの拡張。
• 空間的変化にさらされても効果的なクラスタリング、次元削減、時系列解析を、画像および動画データに対して実現すること。
• 顕微鏡画像のフィルタリング、顔のポーズクラスタリング、手書き数字認識、動画オブジェクトトラッキングといった実世界のタスクへのフレームワークの応用。
• ノイズ、不要物、幾何的変化の影響がある状況下でも、変換不変モデリングが性能向上をもたらすことを示すこと。

提案手法

• 入力データのトポグラフィー的変換（平行移動、ねじれ変形など）を扱うために、グラフィカルモデルに離散的変換変数を導入する。
• 学習中にモデルパラメータと変換変数を同時に推定できるように、期待値最大化（EM）アルゴリズムを適応させる。
• 変換不変な成分を備えた混合ガウス分布を用いて、画像および動画データの分布をモデル化する。
• 動的データに適用するため、時間的モデリングに適した変換変数を備えた隠れマルコフモデルに拡張する。
• 各データポイントを潜在的プロトタイプの変換版としてモデル化する生成的モデリングアプローチを採用し、変換を潜在変数として扱う。
• 変換変数を周辺化することで推論と学習を実行し、明示的なデータオーグメンテーションなしに不変性を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像および動画における平行移動やねじれ変形といった空間的変換に対して不変な確率的グラフィカルモデルを構築できるか？
• RQ2 混合ガウス分布やHMMといった標準モデルに離散的変換変数を統合することで、どのようにして頑健性が向上するか？
• RQ3 変換不変性を組み込むことで、画像および動画のクラスタリング、認識、フィルタリングタスクの性能がどの程度向上するか？
• RQ4 EMアルゴリズムは、モデルパラメータと変換変数を同時に推定する統合推論フレームワークで効果的に学習できるか？
• RQ5 本手法は、動画シーケンスにおける不要物や幾何的変化の影響に対して、ベースラインモデルと比較してどの程度優れているか？

主な発見

• 提案された変換不変モデルは、構造的詳細を保持しながらノイズやアーティファクトを除去するため、顕微鏡画像のフィルタリングにおいて顕著な性能向上を達成する。
• 顔のポーズクラスタリングや異なる空間的配置における顔の表情の識別において、最先端の結果を達成する。
• 微小な平行移動や歪みに対して不変であるため、手書き数字認識の精度が向上し、標準的な混合モデルを上回る性能を示す。
• 空間的変換を潜在変数としてモデル化することで、部分的遮蔽がある場合でも、オブジェクトトラッキングとクラスタリングが強化される。
• 背景を変換不変なプロトタイプとしてモデル化することで、動画シーケンスにおける移動物体などの不要物が効果的に除去される。
• EMに基づく学習フレームワークは、多様な画像および動画データセットにおいて収束し、スケーラビリティと頑健性を示す。