[논문 리뷰] Maximal benefits and possible detrimental effects of binary decision aids

Joachim Meyer, James K. Kuchar|arXiv (Cornell University)|2020. 10. 02.

Human-Automation Interaction and Safety참고 문헌 27인용 수 8

한 줄 요약

이 논문은 신호 탐지 작업에서 이진 결정 보조 장치(예: 경고)의 성능 트레이드오프를 신호 탐지 이론(Signal Detection Theory)을 사용하여 분석한다. 인간 운영자와 보조 장치를 조합할 경우 성능 향상이 미미할 수 있으며, 보조 장치 정보에 대한 비최적의 가중치 부여는 탐지 성능을 떨어뜨릴 수 있다—때로는 인간 단독 시스템이 조합된 시스템보다 우수한 성능을 보일 수도 있다.

ABSTRACT

Binary decision aids, such as alerts, are a simple and widely used form of automation. The formal analysis of a user's task performance with an aid sees the process as the combination of information from two detectors who both receive input about an event and evaluate it. The user's decisions are based on the output of the aid and on the information, the user obtains independently. We present a simple method for computing the maximal benefits a user can derive from a binary aid as a function of the user's and the aid's sensitivities. Combining the user and the aid often adds little to the performance the better detector could achieve alone. Also, if users assign non-optimal weights to the aid, performance may drop dramatically. Thus, the introduction of a valid aid can actually lower detection performance, compared to a more sensitive user working alone. Similarly, adding a user to a system with high sensitivity may lower its performance. System designers need to consider the potential adverse effects of introducing users or aids into systems.

연구 동기 및 목표

• 인간 운영자와 이진 결정 보조 장치를 조합했을 때의 최대 성능 이점을 평가하기 위해
• 보조 장치를 도입함으로써 탐지 성능이 악화될 수 있는 조건을 규명하기 위해
• 보조 장치 정보에 대한 인간의 비최적 가중치 부여가 시스템 수준의 탐지 결과에 미치는 영향을 검토하기 위해
• 개별 감도를 기반으로 병합된 탐지 성능을 추정하는 계산 프레임워크를 제공하기 위해

제안 방법

• 신호와 노이즈 탐지 모델링을 위해 정규 분포를 사용하는 신호 탐지 이론(SDT)을 적용한다.
• 인간과 보조 장치의 감도를 정량화하기 위해 d' 측정치를 적용한다.
• 최적의 결정 임계값과 ROC 곡선 분석을 위해 우도 비율 β를 적용한다.
• 보상 비율과 β* 공식을 사용하여 보조 장치 및 독립된 정보의 최적 가중치를 유도한다.
• 최적 및 비최적 인간 가중치 조건 하에서 병합된 탐지 성능을 계산한다.
• 다양한 유효성과 감도를 가진 경고에 대한 인간의 반응 패턴을 경험적으로 테스트한다.

실험 결과

연구 질문

• RQ1 인간 운영자와 함께 사용할 때 이진 결정 보조 장치가 최대 성능을 발휘하는 조건은 무엇인가?
• RQ2 보조 장치 정보에 대한 인간의 비최적 가중치 부여가 전체 탐지 성능에 어떤 영향을 미치는가?
• RQ3 결정 보조 장치를 도입함으로써 인간 단독 운영 대비 탐지 성능이 떨어질 수 있는가?
• RQ4 인간과 보조 장치 정보 간의 상관관계가 그들을 조합할 때의 잠재적 이점에 어떤 영향을 미치는가?
• RQ5 사용자들이 경고의 유효성에 따라 범례 모델에 맞게 반응을 조정하는 정도는 어느 정도인가?

주요 결과

• 인간과 보조 장치를 조합했을 때의 최대 이점은 종종 작으며, 특히 한 당사자가 다른 당사자보다 훨씬 더 민감할 경우 더욱 그렇다.
• 인간이 보조 장치 정보에 비최적의 가중치를 부여할 경우, 탐지 성능이 더 민감한 당사자 단독 운영 성능 이하로 떨어질 수 있다.
• 사용자들은 저유효성 보조 장치를 과도하게 평가하고 고유효성 보조 장치를 과소평가하여 비최적의 시스템 성능을 초래한다.
• 극단적인 경우, 무효한 보조 장치에 의존할 경우 인간의 반응이 실제 세계의 상태와 상관관계가 없어질 수 있다.
• 매우 민감한 보조 장치라도 인간이 자신의 판단에 과도하게 자신감을 갖는 경우 이를 무시함으로써 성능 향상이 이루어지지 않을 수 있다.
• 보조 장치의 잠재적 이점은 신호 탐지 외에도 상황 인식 등 다양한 영역으로 확장되지만, 이러한 이점들은 명시적으로 설계되고 검증되어야 한다.