[論文レビュー] Multi-Criteria Dimensionality Reduction with Applications to Fairness

Uthaipon Tantipongpipat, Samira Samadi+3 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Optimization Algorithms Research被引用数 14

ひとこと要約

本稿では、Fair-PCA とナッシュ社会的福祉（NSW）の両方を同時に最適化することで、サブポピュレーション全体における公平性を高める、多基準次元削減フレームワークを提案する。2基準問題における凹関数目的関数に対して、正確な多項式時間アルゴリズムを提示し、グループ数が多い場合には、半正定値計画法（SDP）解の新たな低ランク性を活用した近似アルゴリズムを提供。実世界のデータセットを用いた実験的検証も実施。

ABSTRACT

Dimensionality reduction is a classical technique widely used for data analysis. One foundational instantiation is Principal Component Analysis (PCA), which minimizes the average reconstruction error. In this paper, we introduce the "multi-criteria dimensionality reduction" problem where we are given multiple objectives that need to be optimized simultaneously. As an application, our model captures several fairness criteria for dimensionality reduction such as our novel Fair-PCA problem and the Nash Social Welfare (NSW) problem. In Fair-PCA, the input data is divided into $k$ groups, and the goal is to find a single $d$-dimensional representation for all groups for which the minimum variance of any one group is maximized. In NSW, the goal is to maximize the product of the individual variances of the groups achieved by the common low-dimensional space. Our main result is an exact polynomial-time algorithm for the two-criterion dimensionality reduction problem when the two criteria are increasing concave functions. As an application of this result, we obtain a polynomial time algorithm for Fair-PCA for $k=2$ groups and a polynomial time algorithm for NSW objective for $k=2$ groups. We also give approximation algorithms for $k>2$. Our technical contribution in the above results is to prove new low-rank properties of extreme point solutions to semi-definite programs. We conclude with experiments indicating the effectiveness of algorithms based on extreme point solutions of semi-definite programs on several real-world data sets.

研究の動機と目的

• 感受性属性によって定義されるサブポピュレーションを考慮した次元削減における公平性を、複数の目的関数を同時に最適化することで解決すること。
• k 個のサブポピュレーションにおける最小グループ分散を最大化することで、Fair-PCA を定式化すること。
• 共通の低ランク表現における個々のグループ分散の積を最大化することで、ナッシュ社会的福祉（NSW）目的関数をモデル化すること。
• 特に k=2 グループの場合に、凹的かつ単調増加な目的関数に対する多基準次元削減のための効率的アルゴリズムを開発すること。
• Frank-Wolfe 法と乗法的重みヒューリスティクスの性能と実行時間を、実世界の公平性を考慮した次元削減タスクにおいて実験的に評価すること。

提案手法

• 低ランク正定値行列 X（ランク d）に制約を課した半正定値計画法（SDP）として、多基準次元削減を定式化。
• k 個のグループに対して、最小グループ分散 ⟨B_i, X⟩ を最大化する Fair-PCA 目的関数を導入。
• ナッシュ社会的福祉（NSW）目的関数を、滑らかさを確保するための対数凸化 ∑_i log(⟨B_i, X⟩ + λ‖B_i‖_F) を用いて定式化。
• 滑らかな目的関数のリプシッツ連続性を活用し、ラインサーチと適応的ステップサイズを用いた Frank-Wolfe（FW）法により NSW 目的関数を解く。
• MM-Var および MM-Loss 目的関数に対して、勾配降下法を用いた乗法的重み（MW）法を適用。収束を早めるために学習率を最適化。
• SDP緩和の終了条件として、双対ギャップが 0.1% 未満になることを用い、実データセット上でのランク違反を検証。

実験結果

リサーチクエスチョン

• RQ1 k=2 グループの場合に、Fair-PCA と NSW の両方を凹関数目的関数として最適化する多基準次元削減問題に対して、多項式時間アルゴリズムを設計できるか？
• RQ2 感受性属性によって定義されるサブポピュレーション間で、均等な分散保持を確保することで、PCA における公平性をどのようにモデル化できるか？
• RQ3 非滑らかなおよび滑らかな公平性目的関数に対して、Frank-Wolfe 法と乗法的重み法の収束特性と実行時間のトレードオフは何か？
• RQ4 公平性を考慮した次元削減に用いられる SDP の極点解が、計算を効率化できる低ランク構造を示す程度はどの程度か？
• RQ5 大規模な実世界データセットにおいて、公平性を考慮した PCA の計算コストは、標準的な PCA と比べてどの程度増加するか？

主な発見

• 増加的凹関数を対象とする2基準次元削減問題に対して、正確な多項式時間アルゴリズムを構築。k=2 グループにおける Fair-PCA および NSW の正確解が得られる。
• Frank-Wolfe 法は NSW 目的関数に対して高速に収束し、t 回の反復で O(kd/(λt)) の誤差境界を達成。1940年国勢調査データセットでは 10–20 回の反復で終了。
• 最適化された学習率を用いた乗法的重み（MW）法は、MM-Var および MM-Loss 目的関数に対して 100–200 回の反復で収束。1 回の反復あたり SVD 操作の 1x–2x のコスト。
• MW を用いた Fair-PCA および MM-Loss 目的関数では、大規模データセット（n=2000）で計算コストが 200–400x、中規模データセットでは 20–40x 増加。
• NSW の場合、標準 PCA と比較して公平性のコストは 15–60x。FW 法は高速収束を示し、1 回の反復あたり SVD の 1.5x–3x の定数コスト。
• 実験的結果から、SDP 解におけるランク違反はほとんど常に 0 であり、存在する場合も常に 1 に等しいことが判明。最適解における強い低ランク構造が示された。