[논문 리뷰] Multi-Criteria Dimensionality Reduction with Applications to Fairness

Uthaipon Tantipongpipat, Samira Samadi외 3명|arXiv (Cornell University)|2019. 02. 28.

Advanced Optimization Algorithms Research인용 수 14

한 줄 요약

이 논문은 Fair-PCA와 나시 사회후생(Nash Social Welfare)을 동시에 최대화하여 하위집단 간 공정성을 최적화하는 다기준 차원 축소 프레임워크를 제안한다. 두 기준 문제에 대해 오목 목적함수를 갖는 정확한 다항식 시간 알고리즘을 제시하고, 그룹 수가 많아질 경우 근사 알고리즘을 제공하며, 준정방형계획문제 해의 새로운 저랭크 성질을 활용하여 실제 데이터셋에서의 실증 검증을 수행한다.

ABSTRACT

Dimensionality reduction is a classical technique widely used for data analysis. One foundational instantiation is Principal Component Analysis (PCA), which minimizes the average reconstruction error. In this paper, we introduce the "multi-criteria dimensionality reduction" problem where we are given multiple objectives that need to be optimized simultaneously. As an application, our model captures several fairness criteria for dimensionality reduction such as our novel Fair-PCA problem and the Nash Social Welfare (NSW) problem. In Fair-PCA, the input data is divided into $k$ groups, and the goal is to find a single $d$-dimensional representation for all groups for which the minimum variance of any one group is maximized. In NSW, the goal is to maximize the product of the individual variances of the groups achieved by the common low-dimensional space. Our main result is an exact polynomial-time algorithm for the two-criterion dimensionality reduction problem when the two criteria are increasing concave functions. As an application of this result, we obtain a polynomial time algorithm for Fair-PCA for $k=2$ groups and a polynomial time algorithm for NSW objective for $k=2$ groups. We also give approximation algorithms for $k>2$. Our technical contribution in the above results is to prove new low-rank properties of extreme point solutions to semi-definite programs. We conclude with experiments indicating the effectiveness of algorithms based on extreme point solutions of semi-definite programs on several real-world data sets.

연구 동기 및 목표

• 감정적 속성에 의해 정의된 하위집단을 고려하여 다중 목적함수를 동시에 최적화함으로써 차원 축소의 공정성을 해결하는 것.
• 공정한 PCA(Fair-PCA)를 k개 하위집단의 공통 저차원 공간에서의 최소 그룹 분산을 최대화함으로써 수식화하는 것.
• 공동 저차원 표현에서 개별 그룹 분산의 곱을 최대화함으로써 나시 사회후생(NSW) 목적함수를 모델링하는 것.
• 특히 k=2 그룹에 대해, 오목이고 증가하는 목적함수 하에서 다기준 차원 축소를 위한 효율적인 알고리즘 개발.
• 프랭크-울프(Frank-Wolfe) 및 곱셈 가중치( MW) 휴리스틱의 성능과 런타임을 실제 공정성 인식 차원 축소 작업에서 실증적으로 평가하는 것.

제안 방법

• 낮은 랭크의 양의 준정방행렬 X(랭크 d)에 대한 제약 조건을 포함한 준정방형계획문제(SDP)로 다기준 차원 축소를 수식화한다.
• k개 그룹에 대해 min_i ⟨B_i, X⟩로 정의된 최소 그룹 분산을 최대화하는 Fair-PCA 목적함수를 도입한다.
• 분산의 곱을 최대화하는 나시 사회후생(NSW) 목적함수를 정의하며, 부드러움을 확보하기 위해 ∑_i log(⟨B_i, X⟩ + λ‖B_i‖_F)로 로그-볼록화한다.
• 부드러운 목적함수의 리프시츠 연속성에 기반해 선형 검색과 적응적 스텝 크기를 사용하는 프랭크-울프(FW) 방법을 적용하여 NSW 목적함수를 해결한다.
• MM-Var 및 MM-Loss 목적함수에 대해 이중 문제에서의 기울기 하강법을 사용하는 곱셈 가중치(MW) 방법을 적용하며, 수렴 속도를 높이기 위해 학습률를 조정한다.
• SDP 완화의 정지 조건으로 이중성 갭 임계값(≤0.1%)을 사용하고, 실제 데이터셋에서의 랭크 위반 여부를 검증한다.

실험 결과

연구 질문

• RQ1 k=2 그룹에 대해 Fair-PCA와 NSW를 동시에 최적화하는 두 개의 오목 목적함수를 다항식 시간 내에 해결할 수 있는 알고리즘을 설계할 수 있는가?
• RQ2 감정적 속성에 의해 정의된 하위집단 간 균형 잡힌 분산 유지 보장을 통해 PCA에서의 공정성을 어떻게 모델링할 수 있는가?
• RQ3 비연속 및 연속 공정성 목적함수에 대해, 프랭크-울프와 곱셈 가중치 방법의 수렴 성질과 런타임 트레이드오프는 어떠한가?
• RQ4 공정성 인식 차원 축소에 사용되는 SDP의 극점 해가 효율적인 계산을 가능하게 하는 저랭크 성질을 얼마나 자주 보이는가?
• RQ5 대규모 실제 데이터셋에서 공정성 인식 PCA의 계산 비용은 표준 PCA에 비해 얼마나 증가하는가?

주요 결과

• 오목이고 증가하는 목적함수를 갖는 두 기준 차원 축소 문제에 대해 정확한 다항식 시간 알고리즘을 개발하여, k=2 그룹에서 Fair-PCA와 NSW에 대한 정확한 해를 도출할 수 있다.
• 프랭크-울프 방법은 NSW 목적함수에 대해 매우 빠르게 수렴하며, t 반복 후 오차 한계 O(kd/(λt))를 확보하고, 1940 Census 데이터셋에서 10–20회 반복 내에 종료된다.
• 조정된 학습률을 사용하는 곱셈 가중치(MW) 방법은 MM-Var 및 MM-Loss 목적함수에 대해 100–200회 반복 내에 수렴하며, 각 반복의 비용은 SVD 연산의 1x–2x 수준이다.
• MW를 사용할 경우 Fair-PCA 및 MM-Loss 목적함수에 대해, 대규모 데이터셋(n=2000)에서는 공정성의 런타임 비용이 200–400배 증가하고, 중간 규모 데이터셋에서는 20–40배 증가한다.
• NSW의 경우, 표준 PCA 대비 공정성의 비용은 15–60배이며, FW 방법은 빠른 수렴과 반복당 SVD의 1.5x–3x 수준의 일관된 오버헤드를 보인다.
• 실증 결과에 따르면 SDP 해에서의 랭크 위반은 거의 항상 0이며, 존재할 경우 정확히 1번뿐이므로 최적 해에 강력한 저랭크 구조가 있음을 시사한다.