[論文レビュー] Unleashing Linear Optimizers for Group-Fair Learning and Optimization

Daniel Alabi, Nicole Immorlica+1 more|arXiv (Cornell University)|Apr 11, 2018

Epistemology, Ethics, and Metaphysics被引用数 14

ひとこと要約

本稿では、任意の線形最適化手法を用いて、定数個の重複するグループ（例：公平性を考慮した関数や多目的関数）における複雑で非凸的かつリプシッツ連続な目的関数を解くために、多項式時間の還元を提示している。主な貢献は、任意のグループレベルの目的関数を最適化することが、平均性能を最適化するのと同等に計算的に容易であるということである。

ABSTRACT

Most systems and learning algorithms optimize average performance or average loss -- one reason being computational complexity. However, many objectives of practical interest are more complex than simply average loss. This arises, for example, when balancing performance or loss with fairness across people. We prove that, from a computational perspective, optimizing arbitrary objectives that take into account performance over a small number of groups is not significantly harder to optimize than average performance. Our main result is a polynomial-time reduction that uses a linear optimizer to optimize an arbitrary (Lipschitz continuous) function of performance over a (constant) number of possibly-overlapping groups. This includes fairness objectives over small numbers of groups, and we further point out that other existing notions of fairness such as individual fairness can be cast as convex optimization and hence more standard convex techniques can be used. Beyond learning, our approach applies to multi-objective optimization, more generally.

研究の動機と目的

• 少数のグループ間のパフォーマンス差を考慮する複雑で非凸的な目的関数の最適化における計算的課題に対処すること。
• グループ損失上での任意のリプシッツ連続関数の最適化が、平均損失の最適化と同等に計算的に扱いやすいことを示すこと。
• 既存の線形最適化システムを、特別なソルバを必要とせずにグループフェアネス学習や多目的学習に活用できる一般化されたフレームワークを提供すること。
• ドメインエキスパートが、アルゴリズム意思決定におけるフェアネス、不平等、または複数基準のトレードオフを反映する複雑で現実的な目的関数を設計・最適化できるようにすること。
• 線形化と部分勾配法を用いて、オンラインおよび射影ベースの最適化手法の適用範囲を非凸的でグループレベルの目的関数へ拡張すること。

提案手法

• グループ損失上での任意のリプシッツ連続目的関数を、線形最適化問題の系列に変換する多項式時間還元を提案する。
• フランク＝ウォルフ風の反復的手法を用い、線形オракルを用いて元の目的関数の接平面近似を最小化する。
• 最大最小フェアネスやジニ係数に基づく制約など、微分不能または非凸的な目的関数を扱うために、部分勾配に基づく線形化を適用する。
• 制約（例：フェアネスや不平等の上限）を、制約関数の最大値を含むペナルティ項として目的関数に組み込むことで統合する。
• 目的関数とスラック関数（例：max(0, g(l)))の凸結合を用いることで、凸性を維持し、収束保証を可能にする。
• 施設配置や分類のための既存の線形最適化手法（例）を活用して、変換後の問題を、1/εおよびグループ数に関して多項式時間で効率的に解く。

実験結果

リサーチクエスチョン

• RQ1 グループレベルのパフォーマンス指標上での複雑で非凸的な目的関数を、線形最適化オラクルのみを用いて効率的に最適化できるか？
• RQ2 定数個の重複するグループ上でのフェアネスを考慮した関数や多目的関数の最適化が、平均パフォーマンスの最適化と同等に計算的に容易であるか？
• RQ3 最大最小フェアネスや不平等指標などの任意のリプシッツ連続目的関数が、誤差が有界な線形最適化問題の系列に還元可能か？
• RQ4 制約（例：差の上限や不平等インデックス）を最適化フレームワークに統合する方法は何か？収束性と効率性を保つことができるか？
• RQ5 既存の線形最適化システムを、下位のソルバを変更せずにフェアネスを考慮した学習問題を解くためにどれほど再利用できるか？

主な発見

• 本稿では、任意の線形最適化手法が、グループ損失上での任意のリプシッツ連続目的関数を解くために、1/εおよびグループ数に関して多項式時間で実行可能な還元を確立している。
• 本手法は、線形オラクル、部分勾配オラクル、および線形最適化器への定数回の呼び出しのみを用いて、元の非凸的目的関数のε最適解を達成する。
• 制約付き最適化において、本フレームワークは、g(ℓ(c)) ≤ ε を満たす解を発見でき、かつ f(ℓ(c)) ≤ min_{c: g(ℓ(c))≤0} f(ℓ(c)) + ε を満たす。実行時間は O(poly(1/ε, n)) である。
• 本手法は、最大最小フェアネス（λ=0）、平均パフォーマンス（λ=1）、ジニ係数のような不平等指標といった目的関数をサポートしており、これらは準凸的であり、凸制約として取り扱える。
• 本フレームワークにより、個別フェアネスやその他のフェアネス概念を凸制約または目的関数として定式化することで、標準的な凸最適化手法を適用可能にする。
• 本手法はフェアネスに限らず、平均性能と最悪ケース性能のトレードオフを含む多目的最適化へも一般化可能である。