[論文レビュー] Manipulation-Proof Machine Learning

Daniel Björkegren|arXiv (Cornell University)|Jan 1, 2020

Experimental Behavioral Economics Studies被引用数 1

ひとこと要約

本稿では、意思決定ルールが透明である場合に個人が戦略的に行動を変化させるのを考慮した、戦略的ロバストな機械学習推定手法を提案する。明示的に操作コストをモデル化し、均衡において安定する意思決定ルールを導出することで、ケニアの現地実験において、標準的な教師あり学習より13%の性能向上を達成し、透明性に起因する性能低下を23%からわずか8%にまで低減した。

ABSTRACT

An increasing number of decisions are guided by machine learning algorithms. In many settings, from consumer credit to criminal justice, those decisions are made by applying an estimator to data on an individual's observed behavior. But when consequential decisions are encoded in rules, individuals may strategically alter their behavior to achieve desired outcomes. This paper develops a new class of estimator that is stable under manipulation, even when the decision rule is fully transparent. We explicitly model the costs of manipulating different behaviors, and identify decision rules that are stable in equilibrium. Through a large field experiment in Kenya, we show that decision rules estimated with our strategy-robust method outperform those based on standard supervised learning approaches.

研究の動機と目的

• 標準的な機械学習推定手法が、意思決定ルールが透明である場合に、個人が戦略的に行動を変化させることで失敗する問題に対処すること。
• 意思決定ルールが完全に透明であっても、戦略的操作を予測し、安定した意思決定を可能にするフレームワークを構築すること。
• アルゴリズムの透明性に起因する性能コストを定量化し、戦略的モデリングによってこれを顕著に低減できることを示すこと。
• 低所得のスマートフォン利用者を対象にケニアで実施した現実世界の実験を通じて、理論的枠組みを検証すること。
• 意思決定ルールを操作可能な要素に分解する構造的モデルを提供し、その操作コストを経験的に推定すること。

提案手法

• 個人が操作コストを考慮しながら、望ましい結果を最大化するように行動を選択するゲーム理論的モデルを形式化する。
• 戦略的行動下でナッシュ均衡において安定する意思決定ルールを解く、戦略的ロバスト推定手法を導出する。
• 観察された行動の変化と専門家からのヒントを用いて、操作コスト αkj を構造的モデルで推定する。
• モンテカルロシミュレーションを用いて、操作コストが正確に特定されていなくても、戦略的ロバスト推定手法のロバストネスを検証する。
• スマートフォンベースの現地実験を実施し、操作コストを抽出し、デジタル信用の現実世界の文脈で推定手法を検証する。
• 簡略化された形式を用いて行動の変化量 (∆jj) を推定し、キャリブレーション関数を通じて構造的コストパラメータと結びつける。

実験結果

リサーチクエスチョン

• RQ1 意思決定ルールが透明である場合、戦略的行動の影響により、標準的な機械学習推定手法の性能はどの程度低下するか？
• RQ2 意思決定ルールが完全に透明であっても、戦略的行動に耐えうる機械学習推定手法を設計できるか？
• RQ3 サハラ以南アフリカのような低所得・デジタル化が進む新興地域において、個人が操作に要する実際のコストは何か？
• RQ4 個人がスコアリングルールを把握している状況で、戦略的ロバスト推定手法の性能は標準的手法と比べてどの程度優れるか？
• RQ5 操作を明示的にモデル化した場合、透明性の真正のコスト（予測性能の低下）はどの程度か？

主な発見

• ケニアの現地実験において、個人がスコアリングルールを把握している状況で、戦略的ロバスト推定手法は標準的な教師あり学習モデルよりも平均で13%の性能向上を達成した。
• 透明性に起因する性能低下は、単純なルールを用いた場合の23%から、戦略的ロバスト推定手法を用いることでわずか8%にまで低減された。
• ケニアの低所得で最近スマートフォンを導入した人々の間でさえ、アルゴリズムの意思決定をねらって戦略的に行動する傾向が見られ、広範な戦略的認識が存在することが示された。
• 専門家からのヒントで得られた操作コストの推定値は、実験による行動の変化と強く相関しており、構造的モデルの予測能力が妥当であることが裏付けられた。
• モンテカルロシミュレーションの結果、操作コストの誤指定に対しても、この手法はロバストであることが示された。
• このフレームワークにより、意思決定ルールを操作可能な要素に分解し、その戦略的反応を定量化できるようになった。これにより、より耐性のあるアルゴリズム設計の道筋が開かれた。