[論文レビュー] The Best Decisions Are Not the Best Advice: Making Adherence-Aware Recommendations

Julien Grand-Clément, Jean Pauphilet|arXiv (Cornell University)|Sep 5, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、人間の意思決定者がアルゴリズムの推奨に部分的に従わない「エキスパートインザループ意思決定システム」における、適合度に配慮した最適化フレームワークを提案する。人間のベースライン方針とアルゴリズム的推奨の間での切り替え行動をモデル化することで、このような逸脱に強く、かつ、任意の適合度レベル下でも、ベースライン方針および標準的なアルゴリズム的方針を常に上回る性能を保証する推奨方針を計算する。

ABSTRACT

Many high-stake decisions follow an expert-in-loop structure in that a human operator receives recommendations from an algorithm but is the ultimate decision maker. Hence, the algorithm's recommendation may differ from the actual decision implemented in practice. However, most algorithmic recommendations are obtained by solving an optimization problem that assumes recommendations will be perfectly implemented. We propose an adherence-aware optimization framework to capture the dichotomy between the recommended and the implemented policy and analyze the impact of partial adherence on the optimal recommendation. We show that overlooking the partial adherence phenomenon, as is currently being done by most recommendation engines, can lead to arbitrarily severe performance deterioration, compared with both the current human baseline performance and what is expected by the recommendation algorithm. Our framework also provides useful tools to analyze the structure and to compute optimal recommendation policies that are naturally immune against such human deviations, and are guaranteed to improve upon the baseline policy.

研究の動機と目的

• 完全適合を仮定するアルゴリズム的推奨システムのギャップを埋めるため。実世界のエキスパートはしばしば推奨に従わない。
• 高リスクな逐次的意思決定において、部分的適合がシステムパフォーマンスに与える影響をモデル化・定量化すること。
• 人間の逸脱に inherently ロバストで、かつ、ベースライン方針および標準的なアルゴリズム的方針を常に上回るパフォーマンスを保証する推奨方針を設計すること。
• 効率的に計算可能で、さまざまな適合パターンに適応可能な、取り扱いやすく柔軟な最適化フレームワークを提供すること。

提案手法

• 意思決定者がベースライン方針とアルゴリズム的推奨の間を切り替える行動をモデル化する、新しい適合度に配慮したマルコフ決定過程（AdaMDP）を定式化する。
• 報酬と遷移確率がベースライン方針および適合度 θ に依存する、代理MDP定式化を導入する。
• 実行可能ベースライン方針集合に対する長方形性仮定を用いることで、最適な推奨の存在と計算可能性を保証する。
• 適合度に配慮した最適化問題を、古典的なロバストMDP問題に還元し、既知のアルゴリズムを用いて効率的に計算可能にする。
• 適合度に関する最適方針の定常性、決定性、単調性といった構造的性質を分析する。
• 状態に依存する、行動に依存する、不確実な、部分的に既知のベースライン方針に対応できるようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 人間の意思決定者が部分的に適合する場合、エキスパートインザループシステムにおけるアルゴリズム的推奨のパフォーマンスにどのような影響を与えるか？
• RQ2 人間の逸脱に強く、かつ、ベースライン方針および標準的なアルゴリズム的方針を常に上回る性能を保証する推奨方針を設計できるか？
• RQ3 異なる適合パターン下で、適合度に配慮した推奨方針がどのような構造的・計算的性質を有するか？
• RQ4 人間の意思決定者が特定の状態で部分的適合の問題を無視しても安全な状況はどのような条件で成立するか？
• RQ5 時間的に変化する、または不確実な適合度レベルを扱うために、このフレームワークをどのように拡張できるか？

主な発見

• 部分的適合下での最適推奨方針は、常に定常的かつ決定論的であり、実装可能性が保証される。
• フレームワークは、適合度にかかわらず、最適推奨方針がベースライン方針および標準的なアルゴリズム的方針を常に上回ることを保証する。
• 推奨設計に無視された場合、人間の逸脱がまれであっても、性能が任意に悪化する可能性があることが示され、非適合のリスクが顕在化する。
• 最適リターンは適合度に関して単調である。つまり、適合度が高いほど、パフォーマンスが悪化することはない。
• 最適化問題は、やや弱い仮定の下でロバストMDP問題に再定式化可能であり、ベースライン方針集合が凸かつコンパクトであれば、効率的な計算が可能になる。
• フレームワークは、部分的適合が推奨に影響しない状態を同定でき、その文脈では方針の簡素化が可能になる。