[論文レビュー] Multidimensional Scaling on Multiple Input Distance Matrices

Song Bai, Xiang Bai+2 more|arXiv (Cornell University)|May 1, 2016

Face and Expression Recognition被引用数 7

ひとこと要約

この論文では、異種のデータソースからの複数の入力距離行列を扱うために、情報量の多いビューを強調し、ノイズの多いビューを抑制するためのビュー固有の重みを学習する新しいアルゴリズム、マルチビュー多次元尺度構成（MVMDS）を紹介する。この手法は収束が保証される反復的最適化フレームワークを採用し、マルチビューデータセットにおけるクラスタリングおよびリtrievalタスクで最先端の性能を達成する。

ABSTRACT

Multidimensional Scaling (MDS) is a classic technique that seeks vectorial representations for data points, given the pairwise distances between them. However, in recent years, data are usually collected from diverse sources or have multiple heterogeneous representations. How to do multidimensional scaling on multiple input distance matrices is still unsolved to our best knowledge. In this paper, we first define this new task formally. Then, we propose a new algorithm called Multi-View Multidimensional Scaling (MVMDS) by considering each input distance matrix as one view. Our algorithm is able to learn the weights of views (i.e., distance matrices) automatically by exploring the consensus information and complementary nature of views. Experimental results on synthetic as well as real datasets demonstrate the effectiveness of MVMDS. We hope that our work encourages a wider consideration in many domains where MDS is needed.

研究の動機と目的

• 異種のデータソースからの複数の入力距離行列を処理できない既存のMDS手法におけるギャップを埋める。
• 各ビューが別個の対比較距離行列を提供するマルチビューデータにおける多次元尺度構成の問題を明確に定式化する。
• 事前知識を必要とせず、各ビューの重要性を自動で学習する非教師ありで収束保証のあるアルゴリズムを開発する。
• 複数のビュー間の補完的および一貫性のある情報を利用することで、データ表現と下流タスクのパフォーマンスを向上させる。

提案手法

• 複数の距離行列上でストレス関数を最小化するMVMDS問題を定式化し、ビュー固有の重みを反復的に学習する。
• 入力距離行列への忠実度とビュー間の一貫性を両立する重み付きストレス目的関数を導入する。
• 埋め込み構成とビュー重みを交互に更新する交替最適化アルゴリズムを導出する。
• 入力距離への適合とビュー重みの正則化のトレードオフを制御するための1つのハイパーパrameterを用いる。
• やや弱い仮定の下で、反復的アルゴリズムが定常点に収束することを証明する。
• 可視化、次元削減、クラスタリングのため、マルチビュー・データを低次元のユークリッド空間に射影するためにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 異種の距離行列をもつ複数のビューを処理できるように、多次元尺度構成をどのように拡張できるか？
• RQ2 マルチビューMDSフレームワークにおいて、異なるビューの相対的重要性を自動で学習する有効な方法は何か？
• RQ3 埋め込みとビュー重みを同時に学習できる統一された最適化フレームワークを設計でき、収束保証が得られるか？
• RQ4 提案手法は、単一ビューMDSおよび線形結合ベースラインと比較して、クラスタリングおよびリtrievalパフォーマンスでどのように優れているか？
• RQ5 複数の視覚的特徴を用いる場合、MVMDSは画像クラスタリングなどの下流タスクをどの程度向上できるか？

主な発見

• MSRC-v1およびCaltech101データセットの両方で、MVMDSは単一ビューMDSおよび線形結合ベースラインを上回る、全評価指標で最高のパフォーマンスを達成した。
• Caltech101-7では、MVMDSは最良の単一ビュー手法（HOG）よりも7.97%高いクラスタリング精度を達成し、線形結合ベースライン（LC_MDS）よりも14.76%高い。
• Caltech101-20では、MVMDSは76.1%の精度を達成し、LC_MDS（63.0%）および単一ビュー手法を著しく上回った。
• ノイズの多いビューを効果的に抑制する：LC_MDSは等しい重み付けのため、個々のビューよりも性能が悪化するが、MVMDSは情報のない特徴を低減する重みを学習する。
• MVMDSは低次元埋め込み（P=10）でも優れた性能を発揮し、2346Dの高次元特徴を用いるRMKMCなどの手法を上回った。
• アルゴリズムは実用的に信頼性高く収束し、NN、FT、ST、DCG、ACC、NMI、純度といった複数の指標で一貫した改善が得られた。