[論文レビュー] Feature Learning by Multidimensional Scaling and its Applications in Object Recognition

Quan Wang, Kim L. Boyer|arXiv (Cornell University)|Jun 14, 2013

Advanced Image and Video Retrieval Techniques参考文献 38被引用数 4

ひとこと要約

本論文は、意味的感度のある画像距離（具体的にはIMage Euclidean Distance（IMED）とSpatial Pyramid Matching（SPM）距離）を用いた多次元尺度構成（MDS）を用いる、固定長の画像表現を学習する新規な特徴学習フレームワークを提案する。本手法は、車両認識タスクにおいて最先端の性能を達成し、SPMに基づくMDS特徴は全特徴次元で100%の正確性と99%の再現率を達成しており、PCAやカーネルPCA、直接的なSPMベクトル処理を著しく上回っている。

ABSTRACT

We present the MDS feature learning framework, in which multidimensional scaling (MDS) is applied on high-level pairwise image distances to learn fixed-length vector representations of images. The aspects of the images that are captured by the learned features, which we call MDS features, completely depend on what kind of image distance measurement is employed. With properly selected semantics-sensitive image distances, the MDS features provide rich semantic information about the images that is not captured by other feature extraction techniques. In our work, we introduce the iterated Levenberg-Marquardt algorithm for solving MDS, and study the MDS feature learning with IMage Euclidean Distance (IMED) and Spatial Pyramid Matching (SPM) distance. We present experiments on both synthetic data and real images --- the publicly accessible UIUC car image dataset. The MDS features based on SPM distance achieve exceptional performance for the car recognition task.

研究の動機と目的

• 生の強度値や手作業特徴ではなく、画像距離測定を活用する新しい特徴学習フレームワークの開発。
• 高レベルの画像距離に多次元尺度構成（MDS）を適用し、コンactで意味的豊富な特徴表現を学習することの検討。
• SPMおよびIMED距離から導出されるMDS特徴の実世界の画像認識タスクにおける性能評価。
• MDSトレーニングおよびエンコードに適した二段階反復Levenberg-Marquardtアルゴリズムの導入。
• UIUC車両データセットを用いたフレームワークの妥当性検証および既存の特徴抽出手法との比較。

提案手法

• フレームワークは、ペアワイズ画像距離にMDSを適用し、高レベルの類似度を低次元のベクトル表現に変換する。
• MDS最適化問題を効率的に解くために、二段階反復Levenberg-Marquardtアルゴリズムを用い、モデルトレーニングと新規データのエンコードを両立させる。
• 画像距離は、画像空間における画素単位のオルソゴナル距離に基づくIMED（画像ユークリッド距離）と、手作業特徴の空間ピラミッドマッチングによるSPMを用いる。
• 得られたMDS特徴は正規化され、分類のためのRBFカーネルSVMに使用される。
• 特徴ベクトル長を1から20まで変化させ、複数のベースライン手法と性能を比較することで評価が行われる。
• フレームワークは柔軟な距離尺度を許容でき、IRMなどの他の意味的感度のある距離にも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 意味的感度のある画像距離にMDSを適用することで、従来の特徴学習手法よりもより判別力のある画像特徴を生成できるか？
• RQ2 MDS特徴は、PCA、カーネルPCA、直接的なSPMベクトル処理と比較して、物体認識タスクでどの程度優れているか？
• RQ3 SPM距離をMDSの入力として使用することで、他の距離測定と比較してより豊かな意味的構造を捉えられるか？
• RQ4 提案された二段階反復Levenberg-Marquardtアルゴリズムは、MDSトレーニングおよびエンコードにおいてどの程度の効率性を示すか？
• RQ5 MDS特徴学習フレームワークは、より大規模で多クラスの画像データセットにも一般化可能か？

主な発見

• SPMベースのMDS特徴は、全特徴次元で車両認識タスクにおいて100%の正確性と99%の再現率を達成し、すべてのベースラインを上回った。
• SPM1-MDSおよびSPM2-MDS手法は100%の正確性と99%の再現率に飽和したが、PCAおよびカーネルPCAはそれぞれ98%および96%で頭打ちとなった。
• 低次元特徴（m ≤ 5）においてもSPM-MDS手法は高い性能を維持したが、PCAおよびカーネルPCAは非常に低い正確性を示した。
• 2次元空間における特徴の散らばり図では、SPM-MDS特徴を用いることで、車両と非車両のクラス間に明確な分離が観察された。
• SPM距離から学習されたMDS特徴は、直接的なSPMベクトルへのPCA処理を著しく上回り、データセットの構造を捉えるためにMDSが必要であることを示した。
• 二段階反復Levenberg-Marquardtアルゴリズムは良好な計算性能を示し、MATLABで実装済みであり、効率性向上のためC/C++への移行作業が進行中である。