[論文レビュー] Multidimensional Scaling: Approximation and Complexity

Erik D. Demaine, Adam Hesterberg+3 more|arXiv (Cornell University)|Sep 23, 2021

Data Visualization and Analytics被引用数 5

ひとこと要約

この論文は、度数が低い埋め込み（r=1）において、近似解の誤差を小さな範囲に抑えることが、P=NPでない限り計算的に困難であることを示し、メトリック多変量尺度構成（MDS）における Kamada-Kawai ストレス目的関数の最小化のNP困難性を確立している。一方で、直径が有界なグラフに対しては多項式時間近似スキーム（PTAS）を提示している。また、勾配ベースの手法と類似した経験的挙動を示す貪欲近似アルゴリズムも提供している。

ABSTRACT

Metric Multidimensional scaling (MDS) is a classical method for generating meaningful (non-linear) low-dimensional embeddings of high-dimensional data. MDS has a long history in the statistics, machine learning, and graph drawing communities. In particular, the Kamada-Kawai force-directed graph drawing method is equivalent to MDS and is one of the most popular ways in practice to embed graphs into low dimensions. Despite its ubiquity, our theoretical understanding of MDS remains limited as its objective function is highly non-convex. In this paper, we prove that minimizing the Kamada-Kawai objective is NP-hard and give a provable approximation algorithm for optimizing it, which in particular is a PTAS on low-diameter graphs. We supplement this result with experiments suggesting possible connections between our greedy approximation algorithm and gradient-based methods.

研究の動機と目的

• メトリックMDSにおけるKamada-Kawaiストレス目的関数の最小化の計算複雑性を解明すること。
• この非凸最適化問題に対して多項式時間近似アルゴリズムが存在するかどうかを特定すること。
• 特に低直径グラフの文脈において、近似の理論的限界を確立すること。
• 理論的困難性の結果と、可視化やグラフ描画で実際に使われるヒューリスティック最適化手法の間を橋渡しすること。

提案手法

• 次元r=1におけるストレスティミングのギャップ問題のNP困難性を証明した。これは、直径が有界なグラフに対しても成立する。
• 既知のNP困難問題への還元により、低ストレスティミング値とやや高いストレスティミング値を区別することが多項式時間で不可能であることを示した。
• 直径が有界なグラフに対して、(1+ε)-近似を達成する貪欲近似アルゴリズムを開発した。
• 定数直径を持つグラフにおけるストレスティミング最小化のためのPTASを設計した。実行時間はnおよび1/εに関して多項式的である。
• 経験的実験を通じて、貪欲アルゴリズムと勾配ベース手法との間で類似した収束行動を示した。
• 近似保証の分析に、Sherali-Adams緩和と擬似分布ラウンドイング技術を用いた。

実験結果

リサーチクエスチョン

• RQ1 Kamada-Kawaiストレス目的関数の最小化は、グラフメトリクスおよび低次元埋め込みに制限されてもNP困難であるか？
• RQ2 直径が有界なグラフにおけるストレスティミング最小化に対して、多項式時間近似スキーム（PTAS）を構築できるか？
• RQ3 MDSにおける貪欲近似アルゴリズムと勾配ベース最適化の理論的関係は何か？
• RQ4 ストレスティミング最小化のNP困難性は、完全多項式確率的近似スキーム（FPRAS）の存在を排除するか？
• RQ5 MDS用の近似アルゴリズムは、勾配降下やストレスティミングマジョライゼーションなどの実用的ヒューリスティクスとどのように関係するか？

主な発見

• 次元r=1におけるストレスティミング最小化のギャップ問題は、入力グラフの直径が絶対定数で有界であってもNP困難である。
• 直径D=O(1)のグラフにおいて、Kamada-Kawaiストレス目的関数の最小化に対して、nおよび1/εに関して多項式的時間内に(1+ε)-近似を達成できるPTASが存在する。
• 任意の多項式p(n)に対して、1+1/p(n)の要因内での近似は不可能であり、P≠NPの下ではFPRASは存在しない。
• 提示された貪欲近似アルゴリズムは、勾配ベース最適化手法と経験的に類似した挙動を示し、理論的関連性の可能性を示唆している。
• 次数O(1/ε²)のSherali-Adams緩和を用いることで、ストレスティミング目的関数に対して(1+O(ε))-近似を達成するラウンドイング手順が可能である。
• 理論的分析により、合計変動距離とPinskerの不等式を用いて近似誤差を有界にできることを確認した。これにより、近最適解への収束が保証される。