[論文レビュー] The Algorithmic Automation Problem: Prediction, Triage, and Human Effort

Maithra Raghu, Katy Blumer+4 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Bandit Algorithms Research参考文献 1被引用数 56

ひとこと要約

本論文は自動化を予測とインスタンスレベルのトライアージを含むよう再定義し、アルゴリズムと人間の努力においてインスタンスを最適に分割することで、完全な自動化や人間のカバー率と同等の結果を上回る可能性があることを示す。平均的にはアルゴリズムが人間より優れている場合でも。

ABSTRACT

In a wide array of areas, algorithms are matching and surpassing the performance of human experts, leading to consideration of the roles of human judgment and algorithmic prediction in these domains. The discussion around these developments, however, has implicitly equated the specific task of prediction with the general task of automation. We argue here that automation is broader than just a comparison of human versus algorithmic performance on a task; it also involves the decision of which instances of the task to give to the algorithm in the first place. We develop a general framework that poses this latter decision as an optimization problem, and we show how basic heuristics for this optimization problem can lead to performance gains even on heavily-studied applications of AI in medicine. Our framework also serves to highlight how effective automation depends crucially on estimating both algorithmic and human error on an instance-by-instance basis, and our results show how improvements in these error estimation problems can yield significant gains for automation as well.

研究の動機と目的

• 自動化を、タスクの性能比較ではなく、どのインスタンスを自動化するかという判断として定義する。
• インスタンス全体でアルゴリズム的な努力と人間の努力を共同で考慮する一般的な最適化フレームワークを開発する。
• トライアージベースの自動化は、医療タスクにおいて全自動化や人間の同量カバレージを上回ることができることを示す。
• 自動化の利得を高めるために、インスタンス固有のアルゴリズムエラーと人間エラーを推定する重要性を示す。
• トライアージの実装と人間への努力の再配分のための実用的ヒューリスティクスを提供する。

提案手法

• アルゴリズムが予測と相対的有効性のトライアージ判断の両方を提供する2出力意思決定フレームワークを導入する。
• 問題を、インスタンスの部分集合 S を全自動化に選択し、残りのインスタンス T に対して人間の努力 kx を割り当て、総人間努力予算 B の下でモデル化する。
• g(x) をインスタンス x でのアルゴリズムエラー、f(x,k) を x に対する努力 k の下での人間エラーと定義し、Min_S,T sum_S g(x) + sum_T f(x,kx) を最適化し、sum_T kx ≤ B とする。
• 自動化 vs 人間処理のランク付けのためのトライアージスコア τα(x) = f(x,c/β) − g(x) を提案する。
• トライアージ決定を可能にするため、インスタンスレベルでアルゴリズムのエラー確率と人間のエラー確率をキャリブレーションする。
• 目的関数内の λ パラメータを介して、アルゴリズムエラーと人間エラーの相対コストの変化を分析する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムが利用可能な場合、社会計画者は固定された人間努力予算をインスタンス間でどのように配分すべきか。
• RQ2 どのインスタンスを自動化し、どれを人間のレビューに回すかを triage することで、性能を大幅に向上させられるか。
• RQ3 インスタンス固有のアルゴリズムエラー率と人間エラー率は、最適な自動化戦略にどのように影響するか。
• RQ4 医療診断のような実務タスクで、最適な割り当てに密接に近づく実用的なヒューリスティクスとは何か。

主な発見

• 最適な自動化は、全自動化や人間の等量カバレージよりも、アルゴリズムへインスタンスの一部のみを triage することを伴うことが多い。
• インスタンスレベルの大きな異質性があり、いくつかのケースはアルゴリズムエラーがゼロで、他は人間エラーが高いなど、努力の効果的な再配置を可能にする。
• トライアージベースの割り当てを用いると、DR診断設定において、全自動化や等量の人間努力のベースラインを上回って総誤差を削減できる。
• インスタンスごとのアルゴリズムエラーと人間エラーの予測子は、トライアージ決定を改善し、単純なヒューリスティクスより意味のある性能向上を生む。
• アルゴリズムエラーのコストが高くても、かなりの程度の自動化は、非自明なインスタンスのサブセットにとって有益になり得る。