[논문 리뷰] Unleashing Linear Optimizers for Group-Fair Learning and Optimization

Daniel Alabi, Nicole Immorlica외 1명|arXiv (Cornell University)|2018. 04. 11.

Epistemology, Ethics, and Metaphysics인용 수 14

한 줄 요약

이 논문은 임의의 선형 최적화기를 사용하여 복잡한 비볼록, 리프시츠 연속 목표 함수를 상수 개수의 가능한 겹치는 그룹(예: 공정성 인식 또는 다중 목적 함수)에 대해 해결할 수 있도록 하는 다항 시간 축소를 제안한다. 이를 통해 원래의 목표 함수를 선형 최적화 문제의 순서로 변환한다. 주요 기여는 임의의 그룹 수준 목표를 최적화하는 것이 평균 성능을 최적화하는 것만큼 계산적으로 어렵지 않다는 것이다.

ABSTRACT

Most systems and learning algorithms optimize average performance or average loss -- one reason being computational complexity. However, many objectives of practical interest are more complex than simply average loss. This arises, for example, when balancing performance or loss with fairness across people. We prove that, from a computational perspective, optimizing arbitrary objectives that take into account performance over a small number of groups is not significantly harder to optimize than average performance. Our main result is a polynomial-time reduction that uses a linear optimizer to optimize an arbitrary (Lipschitz continuous) function of performance over a (constant) number of possibly-overlapping groups. This includes fairness objectives over small numbers of groups, and we further point out that other existing notions of fairness such as individual fairness can be cast as convex optimization and hence more standard convex techniques can be used. Beyond learning, our approach applies to multi-objective optimization, more generally.

연구 동기 및 목표

• 소수의 그룹 간 성능 차이를 고려하는 복잡한 비볼록 목표 함수 최적화의 계산적 과제를 해결하기 위해.
• 그룹 손실에 대한 임의의 리프시츠 연속 함수 최적화가 평균 손실 최적화만큼 계산적으로 타당한지 보여주기 위해.
• 기존의 선형 최적화 시스템을 활용해 그룹 공정성 및 다중 목적 학습을 위한 일반적인 프레임워크를 제공하기 위해.
• 도메인 전문가가 알고리즘 의사결정에서 공정성, 불평등 또는 다기준 상충을 반영하는 복잡하고 현실적인 목표 함수를 설계하고 최적화할 수 있도록 하기 위해.
• 선형화 및 서브기울기 방법을 통해 온라인 및 투영 기반 최적화 기법의 적용 범위를 비볼록, 그룹 수준의 목표 함수로 확장하기 위해.

제안 방법

• 그룹 손실에 대한 임의의 리프시츠 연속 목표 함수를 선형 최적화 문제의 순서로 변환하는 다항 시간 축소를 제안한다.
• 원래 목표 함수의 탄젠트 평면 근사화를 최소화하기 위해 선형 오рак루를 사용하는 프랭크-울프 스타일의 반복적 방법을 사용한다.
• 최대-최소 공정성 또는 지니 계수 기반 제약 조건과 같은 비미분 가능성 또는 비볼록성 있는 목표 함수를 처리하기 위해 서브기울기 기반 선형화를 적용한다.
• 제약 조건(예: 공정성 또는 불평등 한계)을 제약 함수의 최대값을 포함하는 페널티 항을 통해 목표 함수에 통합한다.
• 목표 함수와 슬랙 함수(예: max(0, g(l)))의 볼록 조합을 사용하여 볼록성을 유지하고 수렴 보장을 확보한다.
• 설치된 선형 최적화기(예: 시설 위치 또는 분류 문제)를 활용하여 변환된 문제를 효율적으로 해결하며, 런타임은 1/ε과 그룹 수에 대해 다항식이다.

실험 결과

연구 질문

• RQ1 그룹 수준 성능 지표에 대한 복잡한 비볼록 목표 함수를 선형 최적화 오라클 뿐만으로 효율적으로 최적화할 수 있는가?
• RQ2 상수 개수의 가능한 겹치는 그룹에 대해 공정성 인식 또는 다중 목적 함수를 최적화하는 것이 평균 성능 최적화만큼 계산적으로 어렵지 않은가?
• RQ3 최대-최소 공정성 또는 불평등 측정치와 같은 임의의 리프시츠 연속 목표 함수가 오차가 유한한 선형 최적화 문제의 순서로 축소될 수 있는가?
• RQ4 제한된 격차나 불평등 지수와 같은 제약 조건을 수렴성과 효율성을 유지하면서 최적화 프레임워크에 통합할 수 있는가?
• RQ5 기존의 선형 최적화 시스템이 기존 솔버를 수정하지 않고도 공정성 인식 학습 문제를 해결하는 데 얼마나 재사용 가능한가?

주요 결과

• 논문은 임의의 선형 최적화기를 사용해 그룹 손실에 대한 임의의 리프시츠 연속 목표 함수를 해결할 수 있도록 하는 다항 시간 축소를 확립하며, 런타임은 1/ε과 그룹 수에 대해 다항식이다.
• 이 방법은 선형 오라클, 서브기울기 오라클 및 선형 최적화기의 일정 수의 호출만을 사용하여 원래의 비볼록 목표 함수의 ε-최적 해를 달성한다.
• 제약 최적화의 경우, 프레임워크는 g(ℓ(c)) ≤ ε를 만족하는 해를 찾을 수 있으며, 동시에 f(ℓ(c)) ≤ min_{c: g(ℓ(c))≤0} f(ℓ(c)) + ε를 확보한다. 런타임은 O(poly(1/ε, n))이다.
• 이 방법은 최대-최소 공정성(λ=0), 평균 성능(λ=1), 지니 계수와 같은 불평등 측정치와 같은 준볼록 목표 함수를 지원하며, 볼록 제약 조건을 통해 처리할 수 있다.
• 이 프레임워크는 개인 공정성 및 기타 공정성 개념을 볼록 제약 조건 또는 목표 함수로 변환함으로써 표준 볼록 최적화 기법의 적용을 가능하게 한다.
• 이 방법은 공정성 외에도 평균 성능와 최악의 성능 간 상충을 다루는 다중 목적 최적화 등에 일반적으로 적용 가능하다.