[論文レビュー] Balancing Competing Objectives with Noisy Data: Score-Based Classifiers for Welfare-Aware Machine Learning

Esther Rolf, Max Simchowitz+5 more|arXiv (Cornell University)|Mar 14, 2020

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

本稿では、ノイズが多いまたは限られたデータ下での機械学習において、利益と社会的福祉といった対立する目的をバランスさせるスコアベースの分類器を提案する。予測スコアを用いて経験的パレートフロンティアをトレースすることで、推定誤差に起因する部分最適性の上限を設定し、公平性制約付きの政策と同等であることを示す。コンテンツ推薦および漁業管理の分野での実証的検証により、わずかな効率的損失で顕著な福祉向上が達成されたことが示された。

ABSTRACT

While real-world decisions involve many competing objectives, algorithmic decisions are often evaluated with a single objective function. In this paper, we study algorithmic policies which explicitly trade off between a private objective (such as profit) and a public objective (such as social welfare). We analyze a natural class of policies which trace an empirical Pareto frontier based on learned scores, and focus on how such decisions can be made in noisy or data-limited regimes. Our theoretical results characterize the optimal strategies in this class, bound the Pareto errors due to inaccuracies in the scores, and show an equivalence between optimal strategies and a rich class of fairness-constrained profit-maximizing policies. We then present empirical results in two different contexts -- online content recommendation and sustainable abalone fisheries -- to underscore the applicability of our approach to a wide range of practical decisions. Taken together, these results shed light on inherent trade-offs in using machine learning for decisions that impact social welfare.

研究の動機と目的

• 現実の機械学習意思決定において、利益や社会的福祉といった複数の目的をバランスさせる課題に対処すること。
• 目的の測定値がノイズが多いまたは不完全な場合に、個人的および公共的目的の明示的トレードオフを可能にするフレームワークを開発すること。
• 推定誤差が存在する状況下で、スコアベースのポリシーのクラスにおける最適戦略を特定すること。
• 最適スコアベースポリシーと公平性制約付き分類器との理論的同等性を示すこと。
• オンラインコンテンツ推薦や持続可能な漁業管理を含む多様な分野で、アプローチの実証的妥当性を検証すること。

提案手法

• 各個人の複数の目的（例：福祉と利益）に対する予測スコアを用いて、選択ポリシーを定義する。
• 経験的パレートフロンティアをトレースするスコアベースポリシーを構築し、目的間のトレードオフに起因するしきい値に基づいて個人を選択する。
• 理論的分析により、パレート誤差が予測スコアの推定誤差の関数として上限付けられることを示す。
• 凹関数の効用関数下では、このアプローチがデモグラフィックパリティ制約付き分類器およびそのε公平性バージョンと同等であることが示される。
• 凹型最適化を活用して、グループ間の選択率をバランスさせつつ共同効用を最大化する最適しきい値を導出する。
• 実証的検証では、YouTube動画の人気データおよびアバロン漁業の実世界データを用い、データノイズや測定制限下での性能をテストする。

実験結果

リサーチクエスチョン

• RQ1 目的の測定値がノイズが多いまたは不完全な場合に、機械学習ポリシーが利益や社会的福祉といった対立する目的を最適にバランスできるか。
• RQ2 予測スコアの不正確さに起因するスコアベースポリシーの理論的部分最適性はいかほどか。
• RQ3 スコアベースポリシーは、特にデモグラフィックパリティとε公平性の観点から、公平性制約付き分類器とどのように関係しているか。
• RQ4 どのような状況下で、多目的アプローチが顕著な福祉向上をもたらし、効率的損失を最小限に抑えるか。
• RQ5 真のスコア間の相関が、スコアベースの多目的ポリシーの性能にどのように影響するか。

主な発見

• 推定誤差を関数として、多目的効用の部分最適性が上限付けられ、性能劣化に対する理論的保証が得られる。
• 凹関数の効用関数下では、スコアベースポリシーがデモグラフィックパリティ制約付き分類器およびそのε公平性バージョンと理論的に同等である。
• YouTube動画推薦の事例では、多目的最適化により平均動画品質が顕著に向上したが、ユーザー参加度への影響はほとんどなかった。
• アバロン漁業の設定では、スコアの劣化を用いてデータ不足を模倣した結果、主要な目的が測定困難であっても、この手法が強固な性能を維持することが示された。
• 公平性制約が緩和されるにつれて、最適ポリシーのしきい値は最大活用しきい値に収束することが示され、選択率はεとともに単調に調整される。
• 理論的分析により、選択率の最大活用レベルからの絶対偏差がεの増加に伴い単調に減少することが確認され、公平性の向上が効率の低下を伴うことが示された。