[논문 리뷰] Leveraging Expert Consistency to Improve Algorithmic Decision Support

Maria De‐Arteaga, Vincent Jeanselme외 2명|arXiv (Cornell University)|2021. 01. 24.

Adversarial Robustness in Machine Learning인용 수 25

한 줄 요약

이 논문은 각 사례에 단일 전문가가 있는 상황에서 영향 함수를 사용해 전문가 일관성을 추정하고 이를 통해 의사결정 목표와 알고리즘 목표 간의 차이를 좁히는 방법을 제시한다. 그런 다음 이 일관성을 학습 및 예측 시점 메커니즘에 통합하여 고위험 의사결정 지원의 성능을 향상시킨다.

ABSTRACT

Machine learning (ML) is increasingly being used to support high-stakes decisions. However, there is frequently a construct gap: a gap between the construct of interest to the decision-making task and what is captured in proxies used as labels to train ML models. As a result, ML models may fail to capture important dimensions of decision criteria, hampering their utility for decision support. Thus, an essential step in the design of ML systems for decision support is selecting a target label among available proxies. In this work, we explore the use of historical expert decisions as a rich -- yet also imperfect -- source of information that can be combined with observed outcomes to narrow the construct gap. We argue that managers and system designers may be interested in learning from experts in instances where they exhibit consistency with each other, while learning from observed outcomes otherwise. We develop a methodology to enable this goal using information that is commonly available in organizational information systems. This involves two core steps. First, we propose an influence function-based methodology to estimate expert consistency indirectly when each case in the data is assessed by a single expert. Second, we introduce a label amalgamation approach that allows ML models to simultaneously learn from expert decisions and observed outcomes. Our empirical evaluation, using simulations in a clinical setting and real-world data from the child welfare domain, indicates that the proposed approach successfully narrows the construct gap, yielding better predictive performance than learning from either observed outcomes or expert decisions alone.

연구 동기 및 목표

• ML 목표가 관찰된 결과로 완전히 포착되지 않는 복잡한 의사결정 기준과의 정합 필요성을 동기화한다.
• 각 사례에 단일 전문가가 배정되고 전문 배정이 비임의적일 때 전문가 일관성을 추정하는 프레임워크를 제안한다.
• 전문가 결정과 관찰 라벨을 혼합하는 학습 시 라벨 융합 접근법을 개발한다.
• 예측 시점에 추론된 전문가 일관성을 활용하는 대체 하이브리드 및 위임(deferral) 모델을 도입한다.
• 고위험 의사결정지원 맥락에서 양성성(positivity) 위반 및 구성 타당성 문제를 다룬다.

제안 방법

• 과거 전문가 결정의 예측기를 학습시켜 각 전문가 선택의 보정된 확률을 얻는다.
• 영향 함수를 사용해 각 전문가가 예측에 미치는 영향을 추정하고 전문가 간의 강건성/일관성 측정을 도출한다.
• 모델이 높은 확률로 의사결정을 예측하는 고일관성 부분집합 A를 정의하고 A에서의 예측이 전문가 간 일관성을 반영한다고 주장한다.
• 전문가 일관성이 존재할 때는 이를 학습하고 그렇지 않을 때 관찰된 라벨에서 학습하는 라벨 융합을 제안한다.
• 예측 시점에 추론된 일관성을 활용하는 하이브리드 및 위임 전략을 제시한다.

실험 결과

연구 질문

• RQ1 각 사례가 단일 전문가에 의해 평가되고 전문가 배정이 비임의적일 때 전문가 일관성은 어떻게 추정될 수 있는가?
• RQ2 추론된 전문가 일관성을 ML 학습에 어떻게 도입해 의사결정 목표와 관찰 결과 간의 구성 격차를 메울 수 있는가?
• RQ3 전문가 일관성을 활용한 모델이 목표 라벨에 반영되지 않는 고위험 사례의 정밀도를 향상시키는가?
• RQ4 예측 시점에 추론된 일관성을 활용하는 실행 전략(하이브드/위임)에는 어떤 대안이 가능한가?

주요 결과

• 전문가가 인식하지만 배포된 모델의 목표 라벨에 완전히 반영되지 않는 고위험 사례가 존재한다.
• 추론된 전문가 일관성을 활용한 제안된 접근 방식은 관찰된 결과에 반영되지 않은 위험의 사례에서 정밀도를 크게 향상시킨다.
• 비임의적 전문가 배정을 처리하고, 이를 정보화하기 위한 인구통계적 형평성 고려를 통해 진단적 정보를 제공한다.