[論文レビュー] Fair Dimensionality Reduction and Iterative Rounding for SDPs

Jamie Morgenstern, Samira Samadi+3 more|arXiv (Cornell University)|Feb 28, 2019

Machine Learning and Algorithms参考文献 55被引用数 8

ひとこと要約

本稿は、2つのグループを対象とした公平PCA問題における次元削減の正確な多項式時間アルゴリズムを提示する。これは、半定値計画法（SDP）の極点解におけるランクの上限を活用したものである。本手法はkグループへ一般化され、最適なd次元の目的関数を達成する(d + √(2k + 0.25) − 1.5)次元の解を生成する。また、一般SDPに対して制約違反が有界な低ランク解を得るための反復的丸め枠組みを導入する。

ABSTRACT

We model dimensionality reduction as an optimization problem. A central example is the fair PCA problem: the input data is divided into $k$ groups, and the goal is to find a single $d$-dimensional representation for all groups for which the maximum variance (or minimum reconstruction error) is optimized for all groups in a fair (or balanced) manner, e.g., by maximizing the minimum variance over the $k$ groups of the projection to a $d$-dimensional subspace. This problem was introduced by Samadi et al. (2018) who gave a polynomial-time algorithm which, for $k=2$ groups, returns a $(d+1)$-dimensional solution of value at least the best $d$-dimensional solution. We give an exact polynomial-time algorithm for $k=2$ groups. The result relies on extending results of Pataki (1998) regarding rank of extreme point solutions to semi-definite programs. This approach applies more generally to any monotone concave function of the individual group objectives. For $k>2$ groups, our results generalize to give a $(d+\sqrt{2k+0.25}-1.5)$-dimensional solution with objective value as good as the optimal $d$-dimensional solution for arbitrary $k,d$ in polynomial time. Using our extreme point characterization result for SDPs, we give an iterative rounding framework for general SDPs which generalizes the well-known iterative rounding approach for LPs. It returns low-rank solutions with bounded violation of constraints. We obtain a $d$-dimensional projection where the violation in the objective can be bounded additively in terms of the top $O(\sqrt{k})$-singular values of the data matrices. We also give an exact polynomial-time algorithm for any fixed number of groups and target dimension via the algorithm of Grigoriev and Pasechnik (2005). In contrast, when the number of groups is part of the input, even for target dimension $d=1$, we show this problem is NP-hard.

研究の動機と目的

• データがk個のグループに分割される公平PCA問題に対処し、すべてのグループの分散をバランスさせるd次元部分空間を求める。
• 最適なd次元解と同等の解の品質を保証する多項式時間アルゴリズムを、公平次元削減のために開発する。
• k=2を越えて任意のkに対して一般化し、kにほぼ線形に依存しない次元の上限を提供する。
• 線形計画法から半定値計画法への反復的丸め技法を拡張し、制約違反が有界な低ランク解を得る。
• 計算量の上限を確立し、kが入力に含まれる場合でさえ、d=1のときも問題がNP困難であることを示す。

提案手法

• PatakiのSDP極点解のランク上限を拡張し、公平PCAの低ランク解を特徴付ける。
• 極点解の構造を活用して、k=2グループに対して多項式時間の正確なアルゴリズムを導出する。
• k>2グループに対しては、最適なd次元解と同等の目的関数値を達成する(d + √(2k + 0.25) − 1.5)次元の解を構築する。
• 制約違反が有界な妥当性を保ちながら、低ランク解を得るための新しい反復的丸め枠組みをSDPに導入する。
• 目的関数の違反をデータ行列の上位O(√k)個の特異値に結びつけ、次元と誤差の間の定量的トレードオフを可能にする。
• kとdが固定されている場合の正確な解を得るために、GrigorievとPasechnik（2005）のアルゴリズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 k=2グループに対する公平PCAの正確な多項式時間アルゴリズムを開発可能か？ その解は、最適なd次元解と同等の目的関数値を達成するが、より高い次元空間で得られる。
• RQ2 k>2グループに対する公平PCAで、最適なd次元解の目的関数値を達成するために必要な最小次元のオーバーヘッドは何か？
• RQ3 線形計画法から半定値計画法への反復的丸めをどのように一般化し、制約違反が有界な低ランク解を得られるか？
• RQ4 グループ数kと、公平次元削減で目的関数値を保持するために必要な次元の増加との関係は何か？
• RQ5 kが入力に含まれる場合でさえ、d=1のとき、公平PCA問題はNP困難であるか？

主な発見

• k=2グループに対する公平PCAの正確な多項式時間アルゴリズムを提示し、最適なd次元解と同等の目的関数値を達成する(d+1)次元解を返す。
• k>2グループに対しては、最適なd次元解と同等の目的関数値を達成する(d + √(2k + 0.25) − 1.5)次元の解を構築する。
• SDP用の反復的丸め枠組みは、目的関数の違反がデータ行列の上位O(√k)個の特異値に比例する低ランク解を生成する。
• 本手法は、分散や再構成誤差に限らず、個々のグループの目的関数の単調かつ凹関数に対しても一般化可能である。
• グループ数kが入力に含まれる場合でさえ、d=1のときも、公平PCA問題がNP困難であることが示された。
• kとdが固定されている場合、GrigorievとPasechnik（2005）のアルゴリズムを用いて正確な解が得られ、その領域では多項式時間で解けることが確立された。