[論文レビュー] Maximal benefits and possible detrimental effects of binary decision aids

Joachim Meyer, James K. Kuchar|arXiv (Cornell University)|Oct 2, 2020

Human-Automation Interaction and Safety参考文献 27被引用数 8

ひとこと要約

本稿は、信号検出理論を用いて、バイナリ意思決定支援（例：アラート）の性能トレードオフを分析する。人間の作業者と意思決定支援を組み合わせても、しばしば性能向上が限定的であり、支援情報の非最適な重み付けは検出性能を低下させることがある。その結果、支援なしの人間単体のシステムの方が優れている場合もある。

ABSTRACT

Binary decision aids, such as alerts, are a simple and widely used form of automation. The formal analysis of a user's task performance with an aid sees the process as the combination of information from two detectors who both receive input about an event and evaluate it. The user's decisions are based on the output of the aid and on the information, the user obtains independently. We present a simple method for computing the maximal benefits a user can derive from a binary aid as a function of the user's and the aid's sensitivities. Combining the user and the aid often adds little to the performance the better detector could achieve alone. Also, if users assign non-optimal weights to the aid, performance may drop dramatically. Thus, the introduction of a valid aid can actually lower detection performance, compared to a more sensitive user working alone. Similarly, adding a user to a system with high sensitivity may lower its performance. System designers need to consider the potential adverse effects of introducing users or aids into systems.

研究の動機と目的

• 人間作業者とバイナリ意思決定支援を組み合わせた場合の最大性能向上を評価すること。
• 支援の導入が検出性能を低下させる条件を特定すること。
• 人間による支援情報の非最適な重み付けが、システム全体の検出結果に与える影響を検討すること。
• 個々の感受性に基づいて、統合検出性能を推定する計算フレームワークを提供すること。

提案手法

• 信号とノイズの検出をモデル化するために、正規分布を用いた信号検出理論（SDT）を用いる。
• 人間と支援の両方の感受性をd'測定値で定量化する。
• 最適な意思決定閾値とROC曲線分析を求めるために、尤度比βを適用する。
• 報酬比とβ*式を用いて、支援と独立した情報の最適な重み付けを導出する。
• 人間による最適および非最適な重み付けの下での統合検出性能を計算する。
• 異なる有効性と感受性を持つアラートに対する人間の反応パターンを実証的にテストする。

実験結果

リサーチクエスチョン

• RQ1 人間作業者と組み合わせたバイナリ意思決定支援が、どのような条件下で最大の検出性能を発揮するか。
• RQ2 人間による支援情報の非最適な重み付けが、全体の検出性能に与える影響は何か。
• RQ3 意思決定支援の導入により、人間単体で作業する場合よりも検出性能が低下する可能性はあるか。
• RQ4 人間と支援の情報の相関が、統合による利点に与える影響は何か。
• RQ5 ユーザーは、規範的モデルに従って、アラートの有効性に応じて反応を調整するか。

主な発見

• 人間と支援を組み合わせた場合の最大の利点は、しばしば小さい。特に、一方の参加者が他方よりも著しく感受性が高い場合には顕著である。
• 人間が支援情報に非最適な重み付けを行うと、検出性能がより感受性の高い個体単体で作業する場合よりも低下する場合がある。
• ユーザーは、低有効性の支援を過大評価し、高有効性の支援を低く評価する傾向があり、結果として非最適なシステム性能が生じる。
• 極端な場合には、無効な支援に依存することで、反応が実際の世界の状態と相関しなくなることがある。
• 非常に感受性の高い支援であっても、人間が自分の判断に過信を抱いてそれを無視する場合には、性能向上が得られない場合がある。
• 支援の潜在的利点は信号検出をはるかに超えて、状況認識などの分野にも及ぶが、こうした利点は明示的に設計され、検証されなければならない。