[논문 리뷰] Challenging the Human-in-the-loop in Algorithmic Decision-making

Sebastian Tschiatschek, Eugenia Stamboliev외 3명|arXiv (Cornell University)|2024. 05. 17.

Simulation Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 알고리즘 기반 의사결정(ADM)에서 인간이 개입하는(HIL) 감시가 본질적으로 윤리적이거나 효과적인 결과를 보장한다는 가정을 도전한다. 실제 의사결정자(PDM)가 알고리즘 추천에 기반해 최종 결정을 내리는 바, 가치의 부합 부족과 정보 수요 충족 불량으로 인해 전략적 의사결정자(SDM)의 사회적 목표를 뜻하지 않게 손상시킬 수 있음을 보여주며, PDM이 ADM 시스템 내에서 정치적·윤리적 행위자로서의 핵심적 역할을 맡고 있음을 강조한다. 이는 종종 간과당하는 중요한 역할이다.

ABSTRACT

We discuss the role of humans in algorithmic decision-making (ADM) for socially relevant problems from a technical and philosophical perspective. In particular, we illustrate tensions arising from diverse expectations, values, and constraints by and on the humans involved. To this end, we assume that a strategic decision-maker (SDM) introduces ADM to optimize strategic and societal goals while the algorithms' recommended actions are overseen by a practical decision-maker (PDM) - a specific human-in-the-loop - who makes the final decisions. While the PDM is typically assumed to be a corrective, it can counteract the realization of the SDM's desired goals and societal values not least because of a misalignment of these values and unmet information needs of the PDM. This has significant implications for the distribution of power between the stakeholders in ADM, their constraints, and information needs. In particular, we emphasize the overseeing PDM's role as a potential political and ethical decision maker, who acts expected to balance strategic, value-driven objectives and on-the-ground individual decisions and constraints. We demonstrate empirically, on a machine learning benchmark dataset, the significant impact an overseeing PDM's decisions can have even if the PDM is constrained to performing only a limited amount of actions differing from the algorithms' recommendations. To ensure that the SDM's intended values are realized, the PDM needs to be provided with appropriate information conveyed through tailored explanations and its role must be characterized clearly. Our findings emphasize the need for an in-depth discussion of the role and power of the PDM and challenge the often-taken view that just including a human-in-the-loop in ADM ensures the 'correct' and 'ethical' functioning of the system.

연구 동기 및 목표

• 알고리즘 기반 의사결정(ADM) 시스템 내 실제 의사결정자(PDM)의 역할을 공공 서비스 분야에서 비판적으로 검토하는 것.
• 전략적 의사결정자(SDM)와 실제 의사결정자(PDM) 간의 가치 부합 부족과 충족되지 않은 정보 수요가 ADM에서 사회적 목표를 손상시키는 방식을 조사하는 것.
• 인간의 감시만으로도 ADM 시스템이 윤리적이거나 정확하게 기능한다는 가정을 도전하는 것.
• SDM과 PDM의 각기 다른 정보 수요를 충족시키기 위해 맞춤형이고 가치 기반의 설명이 필요하다는 점을 강조하는 것.
• ADM 거버넌스 프레임워크 내에서 SDM과 PDM 간의 권한 분배 및 역할 명확성 재고를 주장하는 것.

제안 방법

• 연구는 전략적 의사결정자(SDM)가 장기 목표를 설정하고, 실제 의사결정자(PDM)가 알고리즘 추천에 기반해 최종 개인 수준의 결정을 내리는 이중 구조의 ADM 프레임워크를 개념화한다.
• SDM과 PDM 간의 가치, 제약 조건, 정보 수요의 상이함으로 인해 발생하는 긴장 관계에 대한 이론적 및 실증적 분석을 도입한다.
• 기계 학습 벤치마크 데이터셋을 활용해 실험하여, PDM이 알고리즘 추천에서 미미하게 벗어나더라도 시스템의 전체 결과에 상당한 영향을 미칠 수 있음을 시뮬레이션한다.
• 특히 가치 부합 및 윤리적 의사결정에 중점을 두고, 다양한 이해관계자 역할에 맞춘 반복적·상호작용적·유동적인 설명 설계 방법을 강조한다.
• PDM의 암묵적인 전략적 역할과 ADM 결과를 재구성할 수 있는 잠재력을 반영한 가치 기반 설명 프레임워크를 제안한다.
• 관찰된 결정을 통해 PDM 행동을 모델링하고, 이를 의도된 SDM의 가치와 비교함으로써 부합도와 위험 수준을 평가하는 방법을 포함한다.

실험 결과

연구 질문

• RQ1 전략적 의사결정자(SDM)와 실제 의사결정자(PDM) 간의 가치 부합 부족이 알고리즘 기반 의사결정에서 사회적 목표의 실현에 어떤 영향을 미치는가?
• RQ2 PDM이 알고리즘 추천에서 제한적으로지만 의도적으로 벗어나면, ADM 시스템의 전체 행동과 결과에 얼마나 큰 영향을 미칠 수 있는가?
• RQ3 ADM에서 SDM과 PDM의 고유한 정보 수요는 무엇이며, 설명은 어떻게 이들을 충족시켜야 하는가?
• RQ4 PDM은 정책적·윤리적 결정자로서의 역할을 다하고 있음에도 불구하고, 보정적 감시 행위자로 위치지어져 있음에도 불구하고 어떻게 실질적인 정치적·윤리적 결정자로 작용하는가?
• RQ5 어떻게 설명을 설계하여 PDM의 암묵적인 전략적 영향력을 ADM 시스템 내에서 시각화하고 책임감 있게 만들 수 있는가?

주요 결과

• 실험을 통해 벤치마크 데이터셋에서 PDM의 결정이 알고리즘 추천에서 미미하게 벗어나더라도 ADM 시스템의 행동을 상당히 변화시킬 수 있음을 입증했다.
• SDM과 PDM 간의 가치 부합 부족은 권한이 SDM에서 PDM으로 이행되며, ADM 시스템의 의도된 사회적 목표를 약화시킬 수 있다.
• PDM의 사회적 가치 및 시스템 동역학에 대한 충족되지 않은 정보 수요는 SDM의 전략적 목표에 반대되는 결정을 초래할 수 있다.
• PDM은 보정적 역할을 넘어서 전략적·윤리적 의사결정자로 기능하며, 이에 대한 공식적 인정과 맞춤형 설명 지원이 필요하다.
• 현재의 XAI 접근 방식은 PDM이 사회적 가치를 이해하고 이를 이행할 수 있도록 하는 데 실패하여 설명 설계의 핵심적 격차를 드러낸다.
• 이 연구는 설명이 PDM의 전략적 행위자 역할을 명시적으로 프레임화하고, PDM의 결정과 SDM의 의도 간의 가치 유추 및 부합도 점검 메커니즘을 포함해야 한다고 제안한다.