[논문 리뷰] Fair Dimensionality Reduction and Iterative Rounding for SDPs

Jamie Morgenstern, Samira Samadi외 3명|arXiv (Cornell University)|2019. 02. 28.

Machine Learning and Algorithms참고 문헌 55인용 수 8

한 줄 요약

이 논문은 두 그룹이 있는 공정한 PCA 문제에서, 정수형 프로그래밍의 극단점 해의 랭크 경계를 활용하여 공정한 차원 축소를 위한 정확한 다항시간 알고리즘을 제시한다. 이는 k=2 그룹의 경우에 대해 일반화되며, d + √(2k + 0.25) − 1.5) 차원의 해를 생성함으로써 최적의 d차원 목적 함수를 달성한다. 또한 일반적인 정수형 프로그래밍에 대해 반복적 라운딩 프레임워크를 도입하여 제약 위반을 제한하면서 낮은 랭크 해를 도출한다.

ABSTRACT

We model dimensionality reduction as an optimization problem. A central example is the fair PCA problem: the input data is divided into $k$ groups, and the goal is to find a single $d$-dimensional representation for all groups for which the maximum variance (or minimum reconstruction error) is optimized for all groups in a fair (or balanced) manner, e.g., by maximizing the minimum variance over the $k$ groups of the projection to a $d$-dimensional subspace. This problem was introduced by Samadi et al. (2018) who gave a polynomial-time algorithm which, for $k=2$ groups, returns a $(d+1)$-dimensional solution of value at least the best $d$-dimensional solution. We give an exact polynomial-time algorithm for $k=2$ groups. The result relies on extending results of Pataki (1998) regarding rank of extreme point solutions to semi-definite programs. This approach applies more generally to any monotone concave function of the individual group objectives. For $k>2$ groups, our results generalize to give a $(d+\sqrt{2k+0.25}-1.5)$-dimensional solution with objective value as good as the optimal $d$-dimensional solution for arbitrary $k,d$ in polynomial time. Using our extreme point characterization result for SDPs, we give an iterative rounding framework for general SDPs which generalizes the well-known iterative rounding approach for LPs. It returns low-rank solutions with bounded violation of constraints. We obtain a $d$-dimensional projection where the violation in the objective can be bounded additively in terms of the top $O(\sqrt{k})$-singular values of the data matrices. We also give an exact polynomial-time algorithm for any fixed number of groups and target dimension via the algorithm of Grigoriev and Pasechnik (2005). In contrast, when the number of groups is part of the input, even for target dimension $d=1$, we show this problem is NP-hard.

연구 동기 및 목표

• 데이터가 k개의 그룹으로 분할되어 있고, 모든 그룹 간 분산을 균형 잡는 d차원 부분공간을 찾는 공정한 PCA 문제를 해결하는 것.
• 최적의 d차원 해와 비교할 만한 품질을 보장하는 다항시간 알고리즘을 개발하여 공정한 차원 축소를 수행하는 것.
• k=2를 초월하여 임의의 k에 대해 일반화하여, k에 대해 비선형적으로 증가하는 차원 경계를 제공하는 것.
• 선형 프로그래밍에서의 반복적 라운딩 기법을 정수형 프로그래밍으로 일반화하여, 제약 위반을 제한하면서 낮은 랭크 해를 도출하는 것.
• 복잡도 경계를 규명하여, k가 입력에 포함되는 경우, d=1일지라도 문제는 NP-난이도임을 보여주는 것.

제안 방법

• 정수형 프로그래밍의 극단점 해에 대한 Pataki의 랭크 경계를 확장하여 공정한 PCA에 적합한 낮은 랭크 해를 특성화하는 데 사용한다.
• 극단점 해의 구조를 활용하여 k=2 그룹에 대해 다항시간 정확 알고리즘을 유도한다.
• k>2 그룹으로 일반화하기 위해, 최적의 d차원 목적 함수를 달성하는 (d + √(2k + 0.25) − 1.5)차원 해를 구성한다.
• 일반적인 정수형 프로그래밍에 대해 제약 위반을 제한하면서 타당성을 유지하는 새로운 반복적 라운딩 프레임워크를 도입한다.
• 목적 함수 위반은 데이터 행렬의 상위 O(√k) 특이값에 의해 결정되며, 이는 차원과 오차 사이의 정량적 트레이드오프를 가능하게 한다.
• k와 d가 고정된 경우 정확한 해를 얻기 위해 Grigoriev와 Pasechnik(2005)의 알고리즘을 활용한다.

실험 결과

연구 질문

• RQ1 k=2 그룹에 대해 최적의 d차원 해와 동일한 목적 값을 달성하는 고차원 공간에서 정확한 다항시간 알고리즘을 개발할 수 있는가?
• RQ2 k>2 그룹에 대해 공정한 PCA에서 최적의 d차원 목적 값을 달성하기 위해 필요한 최소한의 차원 과잉은 얼마인가?
• RQ3 선형 프로그래밍에서의 반복적 라운딩을 정수형 프로그래밍으로 일반화하여, 제약 위반을 제한하면서 낮은 랭크 해를 도출할 수 있는가?
• RQ4 그룹 수 k와 공정한 차원 축소에서 목적 값 유지를 위해 필요한 차원 증가량 사이의 관계는 무엇인가?
• RQ5 입력에 k가 포함되는 공정한 PCA 문제는 d=1이어도 NP-난이도인가?

주요 결과

• k=2 그룹에 대해 공정한 PCA의 정확한 다항시간 알고리즘을 제시하며, 최적의 d차원 목적 함수 값과 동일한 (d+1)차원 해를 반환한다.
• k>2 그룹에 대해, 최적의 d차원 해와 동일한 목적 함수 값을 달성하는 (d + √(2k + 0.25) − 1.5)차원 해를 구성한다.
• 정수형 프로그래밍을 위한 반복적 라운딩 프레임워크는 목적 함수의 추가적 위반을 데이터 행렬의 상위 O(√k) 특이값에 의해 제한하며, 낮은 랭크 해를 도출한다.
• 이 방법은 분산이나 재구성 오차 외에도 임의의 단조 감소 함수에 대해서도 일반화 가능하며, 개별 그룹 목적 함수의 단조 감소 함수에 대해 적용 가능하다.
• 입력에 k가 포함되는 경우, d=1이어도 공정한 PCA 문제는 NP-난이도임을 증명한다.
• Grigoriev와 Pasechnik(2005)의 알고리즘을 활용하여 고정된 k와 d에 대해 정확한 해를 도출함으로써, 이 영역에서의 다항시간 해법 가능성을 입증한다.