[論文レビュー] Multidimensional Scaling for Big Data

Pedro Delicado, Cristian Pachon-Garcia|arXiv (Cornell University)|Jul 23, 2020

Face and Expression Recognition参考文献 7被引用数 4

ひとこと要約

本稿では、Gowerの補間公式とデータ分割を活用してメモリおよび計算コストを低減することで、大規模データにおけるスケーラブルな多次元尺度構成（MDS）のための2つの新しいアルゴリズム—補間MDSおよび分割統治MDS—を提案する。著者らは、補間MDSが高精度を維持しながらも、EMNIST（80万点を超える大規模データセット）を含む大規模データセットにおいて、既存の手法を上回る速度と統計的整合性を示す最速の手法であることを実証した。

ABSTRACT

We present a set of algorithms implementing multidimensional scaling (MDS) for large data sets. MDS is a family of dimensionality reduction techniques using a $n imes n$ distance matrix as input, where $n$ is the number of individuals, and producing a low dimensional configuration: a $n imes r$ matrix with $r<

研究の動機と目的

• 古典的MDSが大規模データセットに対して計算的に非現実的である理由（O(n³)の時間計算量とO(n²)の記憶容量要件）に対処する。
• 時間計算量と記憶容量の両方を削減しながらも、高い正確性を維持する効率的でスケーラブルなMDSアルゴリズムの開発。
• 既存の標準的でないMDSアルゴリズム（新規提案を含む）を複数比較し、大規模データ処理に最も効果的な手法を特定する。
• シミュレーションデータおよび実世界の大規模データセット（EMNIST）を用いてアルゴリズムを実装・評価し、性能とスケーラビリティを検証する。
• 研究者および実務家が大規模MDS処理を実行できるように、利用可能で生産環境対応のツールを提供するRパッケージ（bigmds）の作成。

提案手法

• ランドマーク点から導かれる低次元配置に、Gowerの補間公式を用いて非ランドマーク点を射影する、新規の補間MDSを提案。距離行列の保存問題を回避する。
• データセットを小さなサブセットに分割し、各サブセットに古典的MDSを適用し、配置をプロクラステス変換で統合する分割統治MDSを導入。
• ランドマークMDS（LMDS）における三角形化手法が、数学的にGowerの補間公式と同等であることを明らかにし、かつて別個の手法と見なされていた2つのアプローチを統合した。
• 一貫したシミュレーションおよび実データ設定を用いて、6つのMDSアルゴリズム（LMDS、補間MDS、RMDS、ピボットMDS、分割統治MDS、ファストMDS）を実装・ベンチマーク。
• 既知の低次元構造を有するシミュレーションスタディを用い、古典的MDSとの相関および分散推定を用いて正確性を評価。
• EMNISTデータセット（n > 800,000）にすべてのアルゴリズムを適用し、実世界のスケーラビリティと性能をテスト。比較のためのゴールドスタンダードは存在しない。

実験結果

リサーチクエスチョン

• RQ1 補間MDSおよび分割統治MDSは、古典的MDSと比較して、計算コストおよび記憶容量を大幅に削減しながらも、大規模データに対して高い正確性を達成できるか？
• RQ2 大規模データセットに適用した場合、提案されたアルゴリズムは計算効率および統計的正確性においてどのように比較されるか？
• RQ3 ランドマークMDSで用いられる三角形化手法は、数学的にGowerの補間公式と同等であるか？この同等性はアルゴリズム設計にどのような意味を持つのか？
• RQ4 EMNISTデータセット（実世界の大規模データ）に対して、6つのMDSアルゴリズムは実行時間および配置の視覚的品質の観点から、どのように性能を発揮するか？
• RQ5 大規模MDS応用において、速度、正確性、記憶容量効率のバランスを最適にとるアルゴリズムはどれか？

主な発見

• 6つのすべてのアルゴリズムが、古典的MDSと高い相関（相関係数 > 0.98）を示し、低次元構造の保存が良好に行われていることを示した。
• シミュレーションにおいて、補間MDSが最も高速であり、それに次いでLMDSおよびピボットMDSが続いた。シミュレーション設定では実行時間が100秒未塔であった。
• RMDSはシミュレーションで最も遅く、約10分を要した。一方、ファストMDSおよび分割統治MDSは約3.5分で完了した。
• EMNISTデータセット（n > 800,000）では、RMDSを除きすべてのアルゴリズムが3.5分以内に完了し、実世界の大規模データ処理におけるスケーラビリティを確認した。
• ピボットMDS、LMDS、補間MDSはEMNISTで最も速く、それぞれ約1.5分で完了し、実世界での強力な性能を示した。
• 補間MDSは、その高速性、高い正確性（LMDSおよびRMDSと区別できない）、および大規模な中間距離行列の生成を回避する点から、最適な選択肢と推奨される。