[論文レビュー] Can I Still Trust You?: Understanding the Impact of Distribution Shifts on Algorithmic Recourses.

Kaivalya Rawal, Ece Kamar+1 more|arXiv (Cornell University)|Dec 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 13

ひとこと要約

本稿では、時系列的、地理的、データ補正のシフトといった分布シフト下でもアルゴリズム的レコーシブが有効であるかを調査し、最先端のレコーシブ生成手法が分布が変化する際に有効でなくなることがあることを示している。また、レコーシブ無効確率の理論的下限を確立し、レコーシブの有効性とコスト最小化の間の根本的トレードオフを明らかにしている。

ABSTRACT

As predictive models are being increasingly deployed to make a variety of consequential decisions ranging from hiring decisions to loan approvals, there is growing emphasis on designing algorithms that can provide reliable recourses to affected individuals. In this work, we assess the reliability of algorithmic recourses through the lens of distribution shifts i.e., we study if the recourses generated by state-of-the-art algorithms are robust to distribution shifts. To the best of our knowledge, this work makes the first attempt at addressing this critical question. We experiment with multiple synthetic and real world datasets capturing different kinds of distribution shifts including temporal shifts, geospatial shifts, and shifts due to data corrections. Our results demonstrate that all the aforementioned distribution shifts could potentially invalidate the recourses generated by state-of-the-art algorithms. Our theoretical results establish a lower bound on the probability of recourse invalidation due to distribution shifts, and show the existence of a tradeoff between this invalidation probability and typical notions of cost minimized by modern recourse generation algorithms. Our findings not only expose fundamental flaws in recourse finding strategies but also pave new way for rethinking the design and development of recourse generation algorithms.

研究の動機と目的

• 時系列的、地理的、データ補正のシフトといったさまざまな分布シフト下におけるアルゴリズム的レコーシブの耐性を評価すること。
• データ分布が時間経過や場所によって変化する際、最先端のアルゴリズムによって生成されたレコーシブが依然として有効であるかどうかを調査すること。
• 静的データ分布を仮定する現在のレコーシブ生成戦略に内在する根本的限界を同定すること。
• 分布シフトによるレコーシブ無効確率の理論的境界を確立すること。
• 現在のレコーシブアルゴリズムのコスト最小化目的と、レコーシブの有効性との間のトレードオフを調査すること。

提案手法

• 本研究では、制御された分布シフト下で、合成データおよび実世界のデータセットに対して最先端のレコーシブ生成アルゴリズムを評価する。
• 時系列的シフト（例：異なる時期に収集されたデータ）、地理的シフト（例：異なる地域からのデータ）、データ補正シフト（例：修正されたラベルや特徴量）を含む分布シフトをシミュレートする。
• 理論的分析により、分布シフトによるレコーシブ無効確率の下限を導出する。
• 分析により、この無効確率と、現代のレコーシブアルゴリズムが定義するレコーシブのコストとの間のトレードオフが明らかになった。
• 実験的評価により、複数のデータセットおよびシフトタイプにおいて、分布シフト前後でのレコーシブ有効性を比較する。
• フレームワークは、レコーシブの耐性およびその有効性がデータ分布のシフトにどれほど敏感であるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 分布シフトによって、最先端のレコーシブ生成アルゴリズムが生成したレコーシブはどの程度無効化されるか？
• RQ2 時系列的、地理的、データ補正のシフトといった異なるタイプの分布シフトは、アルゴリズム的レコーシブの有効性にどのように影響を与えるか？
• RQ3 分布シフトによってレコーシブが無効化される確率に理論的下限が存在するか？
• RQ4 現在のレコーシブ生成アルゴリズムのコスト最小化目的と、レコーシブの有効性との間にどのようなトレードオフが存在するか？
• RQ5 生成プロセス中に分布シフトを明示的に考慮することで、レコーシブの耐性を向上させることは可能か？

主な発見

• テストされたすべての分布シフト—時系列的、地理的、データ補正—が、最先端のアルゴリズムによって生成されたレコーシブを無効化する可能性を示した。
• 理論的分析により、分布シフトによるレコーシブ無効確率にゼロでない下限が確立された。
• 現在のアルゴリズムが最小化するコストと、レコーシブ無効確率との間に根本的トレードオフが存在する。
• 特定の分布下で最適とされるレコーシブでさえ、基礎となるデータ分布がシフトすると有効でなくなる可能性がある。
• 本研究の結果は、静的または不変のデータ分布を仮定する現在のレコーシブ生成戦略に深刻な欠陥があることを暴露した。
• 研究結果は、分布シフト耐性を明示的に考慮するようにレコーシブ生成アルゴリズムを再考する必要があることを示唆している。