[論文レビュー] A Classification of Feedback Loops and Their Relation to Biases in Automated Decision-Making Systems

Nicolò Pagan, Joachim Baumann+4 more|arXiv (Cornell University)|May 10, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿は、力学系理論を用いて機械学習ベースの意思決定システムにおけるフィードバックループを形式的に分類し、サンプリング、個別、特徴量、結果、モデルの5種類のフィードバックループを特定する。それぞれのループは特定のバイアスと関連しており、シミュレーションによりフィードバックループがバイアスを継続的・強化的・あるいは逆に軽減することを示し、自動化システムにおける長期的公平性の是正に原理的枠組みを提供する。

ABSTRACT

Prediction-based decision-making systems are becoming increasingly prevalent in various domains. Previous studies have demonstrated that such systems are vulnerable to runaway feedback loops, e.g., when police are repeatedly sent back to the same neighborhoods regardless of the actual rate of criminal activity, which exacerbate existing biases. In practice, the automated decisions have dynamic feedback effects on the system itself that can perpetuate over time, making it difficult for short-sighted design choices to control the system's evolution. While researchers started proposing longer-term solutions to prevent adverse outcomes (such as bias towards certain groups), these interventions largely depend on ad hoc modeling assumptions and a rigorous theoretical understanding of the feedback dynamics in ML-based decision-making systems is currently missing. In this paper, we use the language of dynamical systems theory, a branch of applied mathematics that deals with the analysis of the interconnection of systems with dynamic behaviors, to rigorously classify the different types of feedback loops in the ML-based decision-making pipeline. By reviewing existing scholarly work, we show that this classification covers many examples discussed in the algorithmic fairness community, thereby providing a unifying and principled framework to study feedback loops. By qualitative analysis, and through a simulation example of recommender systems, we show which specific types of ML biases are affected by each type of feedback loop. We find that the existence of feedback loops in the ML-based decision-making pipeline can perpetuate, reinforce, or even reduce ML biases.

研究の動機と目的

• 現在の長期的公平性の取り組みを制限している、機械学習ベースの意思決定システムにおけるフィードバックループに関する厳密な理論的理解の欠如に取り組むこと。
• 順次的意思決定パイプラインにおけるフィードバックループの動的かつ変化する性質を分析することで、短期的なバイアス是正手法にとどまらないこと。
• アルゴリズム公平性の文献で議論されている多様な現象を捉える統一的で原理的なフィードバックループの分類法を提供すること。
• 特定のフィードバックループのタイプとそれらが影響を及ぼすMLバイアスを結びつけることで、標的化された是正戦略を可能にすること。
• 将来的な研究の基盤を築くこと。具体的には、バイアスの拡大を予測し防止できる制御器やフィードバックに配慮したシステムの設計を可能にする。

提案手法

• 機械学習意思決定パイプラインを動的フィードバックを有する相互接続されたシステムとしてモデル化するため、力学系理論の枠組みを採用すること。
• パイプラインのどのコンponentが影響を受けるかに基づき、5つの明確に区別できるフィードバックループのタイプ（サンプリング、個別、特徴量、結果、モデル）を定義すること。
• 意思決定に応じて人々が戦略的に行動し、システム入力を変更する「悪意のあるフィードバックループ」を特別なケースとして導入すること。
• 定性的分析とシミュレーテッドレコメンデーションシステムを用いて、各フィードバックループタイプがバイアスの拡大または軽減に与える影響を示すこと。
• 制御理論と最適輸送のツールを適用し、フィードバックに配慮した設計において公平性制約をシステムの目的として統合する方法を検討すること。
• フィードバックループ分類を形式化することで、既存の文献に対する体系的な再解釈が可能となり、研究間の仮定の整合性を高めること。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースの意思決定パイプラインに現れる、明確に区別できるフィードバックループの種類は何か。また、それらを形式的に分類する方法は何か。
• RQ2 異なるフィードバックループタイプが、特定のMLバイアスの拡大、軽減、または持続にどのように影響を与えるか。
• RQ3 意思決定パイプラインにおけるフィードバックループは、静的システムを想定した短期的公平性介入をどのように損なうか。
• RQ4 人々が意思決定に戦略的に反応する「悪意のあるフィードバックループ」は、形式的にモデル化可能であり、他のループタイプと明確に区別できるか。
• RQ5 制御理論と最適輸送を活用することで、時間の経過とともにバイアスを事前に防止できるフィードバックに配慮したシステムを設計する方法は何か。

主な発見

• 本稿は、サンプリング、個別、特徴量、結果、モデルの5種類の明確に区別できるフィードバックループを特定し、それぞれがMLパイプラインの異なる部分に影響を与え、バイアスに独自の影響を及ぼすことを明らかにした。
• フィードバックループは、ループタイプやシステムの文脈によって、バイアスを継続的・強化的・あるいは逆に軽減する可能性があり、フィードバックが常にバイアスを拡大するという仮定に反する。
• 人々が意思決定に応じて行動を変更する（例：システムをあざむく）「悪意のあるフィードバックループ」は、別個で顕著なフィードバックダイナミクスのカテゴリを占める。
• レコメンデーションシステムのシミュレーションにより、結果およびモデルのフィードバックループが、特に意思決定が将来のデータ収集に影響を与える場合、顕著なバイアスの拡大を引き起こすことが示された。
• 本フレームワークにより、既存の公平性文献に対する体系的な再解釈が可能となり、先行研究で暗黙的または明示的に仮定されているフィードバックループタイプを明確にできるようになった。
• 制御理論と最適輸送の統合により、性能最適化を維持しつつ公平性を制約として強制する制御器の設計への道筋が示された。