[논문 리뷰] Multidimensional Scaling: Approximation and Complexity

Erik D. Demaine, Adam Hesterberg외 3명|arXiv (Cornell University)|2021. 09. 23.

Data Visualization and Analytics인용 수 5

한 줄 요약

이 논문은 거리 기반 다차원 척도법(MDS)에서 Kamada-Kawai 스트레스 목적함수의 최소화 문제에 대해 NP-난이도를 증명하고, 유계 직경을 가진 그래프에 대해 다항시간근사법(PTAS)을 제안한다. 1차원 임bedding(r=1)에서도 작은 오차 범위 내의 근사해를 찾는 것이 P=NP가 성립하지 않는 한 계산적으로 비가능하다는 것을 증명하며, 同시에 기울기 기반 방법과 유사한 경험적 성질을 보이는 탐욕형 근사 알고리즘을 제시한다.

ABSTRACT

Metric Multidimensional scaling (MDS) is a classical method for generating meaningful (non-linear) low-dimensional embeddings of high-dimensional data. MDS has a long history in the statistics, machine learning, and graph drawing communities. In particular, the Kamada-Kawai force-directed graph drawing method is equivalent to MDS and is one of the most popular ways in practice to embed graphs into low dimensions. Despite its ubiquity, our theoretical understanding of MDS remains limited as its objective function is highly non-convex. In this paper, we prove that minimizing the Kamada-Kawai objective is NP-hard and give a provable approximation algorithm for optimizing it, which in particular is a PTAS on low-diameter graphs. We supplement this result with experiments suggesting possible connections between our greedy approximation algorithm and gradient-based methods.

연구 동기 및 목표

• 거리 기반 MDS에서 Kamada-Kawai 스트레스 목적함수의 최소화 문제의 계산 복잡도를 규명하는 것.
• 이 비볼록 최적화 문제에 대해 다항시간 근사 알고리즘이 존재하는지 여부를 규명하는 것.
• 특히 유계 직경 그래프의 맥락에서 근사의 이론적 한계를 설정하는 것.
• 이론적 난이도 결과와 시각화 및 그래프 도식화에서 실제로 사용되는 히وري스틱 최적화 방법 사이의 다리를 놓는 것.

제안 방법

• 직경이 유계인 그래프에서도 1차원 차원에서 스트레스 최소화 문제의 갭 판별 문제가 NP-난이도임을 증명.
• 기존의 알려진 NP-난이도 문제로의 환원을 통해, 낮은 스트레스 값과 중간 정도로 높은 스트레스 값 사이를 다항시간 내에 구분하는 것이 불가능함을 보임.
• 직경 D가 유계인 그래프에 대해 (1+ε)-근사해를 달성하는 탐욕형 근사 알고리즘을 개발.
• 상수 직경을 가진 그래프에서 스트레스 최소화 문제에 대해 다항시간근사법(PTAS)을 설계하며, 실행 시간이 n과 1/ε에 대해 다항식이 되도록 함.
• 경험적 실험을 통해 탐욕 알고리즘과 기울기 기반 방법 간의 유사한 수렴 행동을 관찰하고 연결.
• 근사 보장을 분석하기 위해 Sherali-Adams 리 릿지 및 가짜분포 라운딩 기법을 사용.

실험 결과

연구 질문

• RQ1 Kamada-Kawai 스트레스 목적함수의 최소화 문제가 그래프 거리계와 저차원 임bedding에 제한된 경우에도 NP-난이도인가?
• RQ2 직경이 유계인 그래프에 대해 스트레스 최소화 문제에 대해 다항시간근사법(PTAS)을 구성할 수 있는가?
• RQ3 탐욕형 근사 알고리즘과 기울기 기반 최적화 방법 사이의 이론적 관계는 무엇인가?
• RQ4 스트레스 최소화 문제의 NP-난이도는 전문화된 다항시간 랜덤화 근사법(FPRAS)의 존재를 배제하는가?
• RQ5 MDS에 대한 근사 알고리즘은 기울기 하강법과 스트레스 주도화와 같은 실용적 히وري스틱과 어떻게 관련이 있는가?

주요 결과

• 1차원에서 스트레스 최소화 문제의 갭 판별 문제가, 입력 그래프의 직경이 절대 상수로 유계이더라도 여전히 NP-난이도임을 증명.
• 직경 D=O(1)인 그래프에서 Kamada-Kawai 스트레스 목적함수의 최소화 문제에 대해 다항시간근사법(PTAS)이 존재하며, n과 1/ε에 대해 다항식 시간 내에 (1+ε)-근사해를 달성함.
• 임의의 다항식 p(n)에 대해 1+1/p(n) 이내의 근사가 불가능하므로, P=NP가 성립하지 않는 한 FPRAS는 존재하지 않음.
• 제안된 탐욕형 근사 알고리즘이 기울기 기반 최적화 방법과 경험적으로 유사한 성질을 보이며, 이론적 연결 가능성 제안.
• 도수 O(1/ε²)인 Sherali-Adams 리 릿지로는 (1+O(ε))-근사해를 달성하는 라운딩 절차가 가능함.
• 이론적 분석을 통해 총 변동 거리와 핀스커 부등식을 이용해 근사 오차를 유계로 둘 수 있으며, 이는 근사 최적해에 수렴함을 보장함.