[論文レビュー] Questioning the assumptions behind fairness solutions

Rebekah Overdorf, Bogdan Kulynych+3 more|arXiv (Cornell University)|Nov 27, 2018

Ethics and Social Impacts of AI参考文献 21被引用数 16

ひとこと要約

この論文は、機械学習における公平性ソリューションの基礎的仮定に挑戦し、サービスプロバイダーがしばしば公平に最適化するインcentives や手段を持たないことが、有害な外部性を引き起こすと主張している。本稿では、ユーザーおよび環境からの防御的最適化技術（POTs）を提唱する。POTsは、システム外部からの影響をデータ汚染、入力操作、および敵対的技術を用いて是正し、偏見や搾取を軽減する。

ABSTRACT

In addition to their benefits, optimization systems can have negative economic, moral, social, and political effects on populations as well as their environments. Frameworks like fairness have been proposed to aid service providers in addressing subsequent bias and discrimination during data collection and algorithm design. However, recent reports of neglect, unresponsiveness, and malevolence cast doubt on whether service providers can effectively implement fairness solutions. These reports invite us to revisit assumptions made about the service providers in fairness solutions. Namely, that service providers have (i) the incentives or (ii) the means to mitigate optimization externalities. Moreover, the environmental impact of these systems suggests that we need (iii) novel frameworks that consider systems other than algorithmic decision-making and recommender systems, and (iv) solutions that go beyond removing related algorithmic biases. Going forward, we propose Protective Optimization Technologies that enable optimization subjects to defend against negative consequences of optimization systems.

研究の動機と目的

• サービスプロバイダー（OSP）が公平性ソリューションを効果的に実装するインセンティブまたは手段を持っているという仮定を疑問視すること。
• 最適化システムが、従来の公平性フレームワークの範囲外にある環境的被害、ユーザー搾取、および疎外といった有害な外部性を生み出すこと。
• 現在の公平性アプローチが、分布シフト、非ユーザー除外、環境劣化といった構造的問題に対処していないこと。
• 影響を受ける個人やコミュニティが、システムの外側から最適化の害に反撃できる新たな防御のクラス、Protective Optimization Technologies (POTs) を提唱すること。
• 単にOSPに依存するのではなく、エンドユーザーおよび環境が否定的最適化結果に対抗できるようにする代替の信頼モデルを提唱すること。

提案手法

• POTsを外部防御として提唱し、根本的なアルゴリズムを変更せずに、ユーザーおよびコミュニティが最適化システムの結果に影響を及ける仕組みを提供すること。
• 最適化システムが人口および環境に与える影響をモデル化し、非ユーザー除外、不平等なユーザー優先順位付け、環境リスクの外部化といった主要な外部性を同定すること。
• 敵対的機械学習技術を用いて、訓練データを汚染するか、代替入力を設計し、システムの挙動をより公平な方向に変化させること。
• Wazeルート操作、Uberのサージカルラジョン、Adnauseamのような広告クリックプラグインといった実世界の事例を参考に、形式的なPOT設計を創出すること。
• プライバシー強化技術（PETs）および既存の敵対的ユーザー行動に関する研究の知見を統合し、耐障害性がありユーザー中心の防御を設計すること。
• POTsが動的で現実のフィードバックループや予期しない結果を考慮できるよう、包括的なシステム・環境相互作用モデルを強調すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ現在の公平性ソリューションは、サービスプロバイダーが行動するインセンティブや手段を持たない場合、最適化システムが生み出す外部性に対処できないのか？
• RQ2 システム設計やデータに参加していないユーザーおよびコミュニティは、どのようにして有害な最適化結果から自分自身を防衛できるのか？
• RQ3 根本的なアルゴリズムを変更せずに、最適化システムにおける外部干渉を可能にする技術的メカニズムは何か？
• RQ4 既存のユーザー層の対抗戦略（例：偽の交通レポート、広告クリックプラグイン）は、形式的かつスケーラブルな Protective Optimization Technologies の設計にどのように寄与するか？
• RQ5 最適化の害を軽減する責任をサービスプロバイダーから、支援されたエンドユーザーおよびコミュニティに移行する新しい信頼モデルは、どのように開発できるか？

主な発見

• Wazeが住宅街を経由して車両を誘導する事例や、Facebookが収益を得るためにユーザー視聴時間を誇張する事例からも明らかだが、サービスプロバイダーは公平性ソリューションを実装するインセンティブやメカニズムを欠いていることが多い。
• 最適化システムは、環境的被害、非ユーザーの疎外、ユーザーおよびコミュニティへのリスク外部化といった顕著な外部性を生み出している。
• 従来の公平性アプローチは、モデルが訓練ドメイン外に展開された際に性能が低下する分布シフトといった構造的問題に対処していない。
• 地域住民による交通レポートや広告クリックプラグインといった実世界のユーザー対抗戦略は、外部からユーザー主導の干渉がシステム挙動を効果的に変化させられることを示している。
• Protective Optimization Technologies (POTs) は、データ汚染、入力操作、敵対的技術を用いてシステム結果に影響を及けることで、実現可能な前向きな道筋を提供する。
• POTsの開発には、プロバイダー中心の信頼モデルから、現実の複雑さと予期しない結果を考慮したユーザーおよび環境中心のモデルへのシフトが必要である。