[論文レビュー] Algorithmic Bias and Data Bias: Understanding the Relation between Distributionally Robust Optimization and Data Curation

Agnieszka Słowik, Léon Bottou|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用数 9

ひとこと要約

本稿は、分布的に頑健な最適化（DRO）と部分集団の重み付き混合データでの学習との間の理論的同等性を確立し、DROが本質的にデータバイアスを解消するのではなく、訓練データからのキャリブレーション仮定を引き継ぐことになることを示している。DROとデータキュレーションの両方とも、公平性を保証するものではないと主張し、最適でない解を避けるために、慎重なキャリブレーションとモデル容量の確保を推奨する。

ABSTRACT

Machine learning systems based on minimizing average error have been shown to perform inconsistently across notable subsets of the data, which is not exposed by a low average error for the entire dataset. In consequential social and economic applications, where data represent people, this can lead to discrimination of underrepresented gender and ethnic groups. Given the importance of bias mitigation in machine learning, the topic leads to contentious debates on how to ensure fairness in practice (data bias versus algorithmic bias). Distributionally Robust Optimization (DRO) seemingly addresses this problem by minimizing the worst expected risk across subpopulations. We establish theoretical results that clarify the relation between DRO and the optimization of the same loss averaged on an adequately weighted training dataset. The results cover finite and infinite number of training distributions, as well as convex and non-convex loss functions. We show that neither DRO nor curating the training set should be construed as a complete solution for bias mitigation: in the same way that there is no universally robust training set, there is no universal way to setup a DRO problem and ensure a socially acceptable set of results. We then leverage these insights to provide a mininal set of practical recommendations for addressing bias with DRO. Finally, we discuss ramifications of our results in other related applications of DRO, using an example of adversarial robustness. Our results show that there is merit to both the algorithm-focused and the data-focused side of the bias debate, as long as arguments in favor of these positions are precisely qualified and backed by relevant mathematics known today.

研究の動機と目的

• DROと部分集団の重み付き混合学習との間の数学的関係を明確化すること。
• DROが機械学習システムにおけるアルゴリズム的バイアスおよびデータバイアスを完全に解消できるかどうかを調査すること。
• DROとデータキュレーションが、モデルのデプロイにおいて公平性を確保するための単独の解決策としての限界を特定すること。
• 部分集団のパフォーマンスを尊重し、局所的最小値の罠を避けるために、DROを効果的に適用するための実用的助言を提供すること。
• これらの発見が、敵対的ロバストネスやその他のDRO応用に与える影響を検討すること。

提案手法

• ラグランジュ緩和を用いたDROの理論的分析により、部分集団上での混合最適化と接続する。
• 混合コスト関数の局所的最小値が、特定のキャリブレーション係数を持つDRO解に対応する条件を導出する。
• 線形モデルを超える一般化のため、凸および非凸損失関数の使用。
• 部分集団のパフォーマンスに基づいて混合重みを動的に調整する反復的DROアルゴリズム（例：アルゴリズム2）の分析。
• モデル容量の制限や1つの部分集団の損失が優勢になる場合にDROが失敗する状況の調査。
• 理論的結果を敵対的ロバストネスに応用し、DROベースの防御機構に同様の制限があることを示す。

実験結果

リサーチクエスチョン

• RQ1 DROは、部分集団の損失の重み付き平均を最小化することと、数学的にどのように関係しているか？
• RQ2 混合コスト関数の局所的最小値が、特定のキャリブレーション係数を持つDRO解に対応する条件は何か？
• RQ3 事前のデータキュレーションやモデル容量の調整がなければ、DROが部分集団全体で公平性を向上させられるか？
• RQ4 1つの部分集団の損失が最適化プロセスを支配する場合、DROの限界は何か？
• RQ5 類似した構造的制約があるにもかかわらず、DROは敵対的ロバストネスにどの程度効果的に応用できるか？

主な発見

• DROは、キャリブレーション係数によって決定される重み付き損失の平均最小化と数学的に同等である。
• 混合コスト関数の局所的最小値がDRO解に対応するのは、キャリブレーション係数が適切に設定されている場合に限る。この同等性は、凸および非凸損失の両方で成り立つ。
• DROは、特定の部分集団のデータにのみ学習させた場合でも、そのグループで十分なパフォーマンスを達成できないモデルではバイアスを解消できない。
• 反復的DROアルゴリズムは、1つの部分集団が損失のランドスケープを支配する場合、悪い局所的最小値に閉じ込められ、パフォーマンス向上に失敗する可能性がある。
• 過剰パラメータ化は、悪い局所的最小値から脱出するのに役立つが、部分集団間のトレードオフを表現できる十分なモデル容量がある場合に限る。
• 敵対的ロバストネスにおいても、DROは同様の制限を受ける：モデルが最悪ケースの部分集団を処理できない限り、ロバストネスを保証できない。