[論文レビュー] Unsupervised Feature Learning for low-level Local Image Descriptors

Christian Osendorfer, Justin Bayer+2 more|arXiv (Cornell University)|Jan 14, 2013

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 4

ひとこと要約

本論文は、教師なし特徴学習手法、特に制限付きボルツマンマシン（RBMs）を用いて、いかなる教師信号なしに低レベルの局所的画像記述子を学習するのを評価している。平均共分散RBMs（mcRBM）は、実数値でコン act なバイナリ記述子を学習し、対応マッチングベンチマークにおいて最先端の手作業で作成された記述子と同等またはそれを上回る性能を達成した。これは、教師なし学習がコンピュータビジョンタスクにおける判別性の高い低レベル特徴を効果的に捉えることができることを示している。

ABSTRACT

Unsupervised feature learning has shown impressive results for a wide range of input modalities, in particular for object classification tasks in computer vision. Using a large amount of unlabeled data, unsupervised feature learning methods are utilized to construct high-level representations that are discriminative enough for subsequently trained supervised classification algorithms. However, it has never been \emph{quantitatively} investigated yet how well unsupervised learning methods can find \emph{low-level representations} for image patches without any additional supervision. In this paper we examine the performance of pure unsupervised methods on a low-level correspondence task, a problem that is central to many Computer Vision applications. We find that a special type of Restricted Boltzmann Machines (RBMs) performs comparably to hand-crafted descriptors. Additionally, a simple binarization scheme produces compact representations that perform better than several state-of-the-art descriptors.

研究の動機と目的

• 教師あり分類に依存しない、低レベル画像記述子タスクに直接的に教師なし特徴学習手法を評価すること。
• 教師なし手法が、コンピュータビジョンのコアタスクである対応マッチングに向けた競争力のある局所的画像記述子を学習できるかどうかを評価すること。
• 教師なし学習が、SIFT や SURF などの手作業で作成されたものと同等のコンパクトで高性能な記述子を生成できるかどうかを調査すること。
• 照明、視点、スケールの変動がある現実的な画像パッチデータセット上で、教師なしモデルをベンチマークすること。
• バイナリ化スキームの可能性を調査し、学習された特徴から効率的で低ビットの表現を生成すること。

提案手法

• 150万個の64×64の画像パッチ（3つの現実世界のシーンから得た）の大きなデータセット上で、ガウス型RBMs（GRBM）、スパースGRBM（spGRBM）、および平均共分散RBMs（mcRBM）を訓練した。
• mcRBMの活性化をバイナリ化するための単純なヒューリスティックを用いた：訓練データセット全体のすべての隠れユニット活性化のヒストグラムの中央値をしきい値として使用した。
• mcRBMを用いて、キーポイントを中心に配置されたフィルタを学習し、それらが対数極座標系やガボール型のパターンに類似した空間的構造を持つようにした。
• ラベル付きの正例・負例ペアからなるデータセットを用いて、対応マッチングタスクでモデルを評価した。
• マッチングに適したコンパクトな表現を学習するために、2層構造（64個の可視ユニットおよび576個の隠れユニットを持つmcRBM）を採用した。
• 最適化にRMSPropを採用し、標準的な確率的勾配降下法よりも性能が向上した。

実験結果

リサーチクエスチョン

• RQ1 教師なし特徴学習手法は、いかなる教師信号なしに、手作業で作成された記述子と競合するような低レベル画像記述子を生成できるか？
• RQ2 ガウス型RBMs（GRBM）、スパースGRBM（spGRBM）、および平均共分散RBMs（mcRBM）といった異なる種類のRBMsは、直接的な対応マッチングタスクでどれほど性能を発揮するか？
• RQ3 単純なバイナリ化スキームが、教師なし特徴からコンパクトで高性能な記述子を生成できるか？
• RQ4 教師なしモデルが学習するフィルタは、最先端の記述子で使われる既知の効果的なフィルタパターンに類似しているか？
• RQ5 教師なし学習は、キーポイント周辺の空間的構造（例：対数極座標系やガボール型パターン）を効果的に捉えられるか？

主な発見

• 平均共分散RBMs（mcRBM）は、対応マッチングタスクにおいてSIFTなどの手作業で作成された記述子と同等の性能を示す実数値記述子を生成した。
• 活性化値の中央値に基づく単純なバイナリ化スキームにより、64ビットのバイナリ記述子が得られ、これは複数の最先端の手作業記述子を上回った。
• mcRBMは、キーポイントが中心にある場合に、対数極座標系やガボール型のパターンに類似したフィルタを学習しており、空間モデリングが効果的であることが示された。
• 非線形性とRMSProp最適化を用いても、spGRBMおよびGRBMモデルは競争力のあるコンパクトな表現を生成できなかった。
• 固定トポロジーを持つ射影行列Pを用いたmcRBMは、キーポイントの周囲にガボール型のフィルタを体系的に配置しており、構造的な空間学習が行われていることを示唆している。
• ハーフドームデータセットでは性能が最適でなかったため、スケーリング要因は固定するのではなく学習させるべきであると考えられる。