[논문 리뷰] The Algorithmic Automation Problem: Prediction, Triage, and Human Effort

Maithra Raghu, Katy Blumer외 4명|arXiv (Cornell University)|2019. 03. 28.

Advanced Bandit Algorithms Research참고 문헌 1인용 수 56

한 줄 요약

본 논문은 예측과 인스턴스 수준의 triage를 포함하도록 자동화를 재정의하며, 알고리즘과 인간 노력을 인스턴스에 최적으로 분할하는 것이 전체 자동화나 인간 커버리지와 동일하게 하는 것보다 더 나은 성능을 낼 수 있음을 보여준다, 비록 알고리즘이 평균적으로 인간보다 우수하더라도.

ABSTRACT

In a wide array of areas, algorithms are matching and surpassing the performance of human experts, leading to consideration of the roles of human judgment and algorithmic prediction in these domains. The discussion around these developments, however, has implicitly equated the specific task of prediction with the general task of automation. We argue here that automation is broader than just a comparison of human versus algorithmic performance on a task; it also involves the decision of which instances of the task to give to the algorithm in the first place. We develop a general framework that poses this latter decision as an optimization problem, and we show how basic heuristics for this optimization problem can lead to performance gains even on heavily-studied applications of AI in medicine. Our framework also serves to highlight how effective automation depends crucially on estimating both algorithmic and human error on an instance-by-instance basis, and our results show how improvements in these error estimation problems can yield significant gains for automation as well.

연구 동기 및 목표

• 자동화를 작업 수행 비교가 아닌 어떤 인스턴스를 자동화할지 결정하는 문제로 정의한다.
• 인스턴스 전반에 걸쳐 알고리즘적 노력과 인간의 노력을 함께 고려하는 일반적 최적화 프레임워크를 개발한다.
• triage 기반 자동화가 의료 과제에서 전체 자동화나 동일한 인간 커버리지보다 우수한 성과를 낼 수 있음을 보인다.
• 자동화 이득을 높이기 위해 인스턴스별 알고리즘 오류와 인간 오류를 추정하는 중요성을 보여준다.
• triage를 구현하고 인간 노력을 재할당하기 위한 실용적 휴리스틱을 제공한다.

제안 방법

• 알고리즘이 예측과 상대적 효과성에 대한 triage 판단을 모두 제공하는 두 출력 의사결정 프레임워크를 도입한다.
• 총 인간 노력 예산 B 하에 전체 인스턴스 중 부분집합 S를 완전한 알고리즘 자동화로 선택하고 남은 인스턴스 T에 인간 노력 kx를 배분하는 문제로 모델링한다.
• 인스턴스 x에서의 알고리즘 에러를 g(x)로, 인스턴스 x에서의 노력 k에 따른 인간 에러를 f(x,k)로 정의하고, sum_S g(x) + sum_T f(x,kx)를 최소화하되 sum_T kx ≤ B로 제약한다.
• 자동화 대 인간 처리를 위한 인스턴스 순위를 매기기 위한 triage 점수 τα(x) = f(x,c/β) − g(x)를 제안한다.
• triage 판단을 가능하게 하도록 인스턴스 수준에서 알고리즘의 오류 확률과 인간의 오류 확률을 보정한다.
• 목표식에서 λ 매개변수를 통해 알고리즘 오류와 인간 오류의 상대적 비용 차이를 분석한다.

실험 결과

연구 질문

• RQ1 알고리즘이 이용 가능할 때 어떤 인스턴스에 고정된 인간 노력 예산을 할당해야 하는가?
• RQ2 인스턴스를 자동화할지 인간 검토를 받을지 트라이얼링하여 성능을 크게 개선할 수 있는가?
• RQ3 인스턴스별 알고리즘 오류율과 인간 오류율이 최적 자동화 전략에 어떤 영향을 미치는가?
• RQ4 의료 진단과 같은 실제 작업에서 최적 배치를 근접하게 근사하는 실용적 휴리스틱은 무엇인가?

주요 결과

• 최적 자동화는 종종 전체 자동화나 동등한 인간 커버리지보다 알고리즘에 일부 인스턴스만 트라이얼하는 것을 포함한다.
• 인스턴스 수준에서 상당한 이질성이 존재한다: 일부 사건은 알고리즘 오류가 0이고, 다른 경우는 인간 오류가 더 높은 등으로 노력을 효과적으로 재배치할 수 있다.
• triage 기반 배치를 사용하면 DR 진단 설정에서 전체 자동화와 동등한 인간 노력의 기준선보다 총 오류를 줄일 수 있다.
• 인스턴스별 알고리즘 및 인간 오류 예측기가 triage 판단을 개선하고 단순 휴리스틱에 비해 의미 있는 성능 향상을 제공합니다.
• 알고리즘 오류의 비용이 더 크더라도 비수의 일부 인스턴스에 대해 상당한 자동화가 여전히 이익이 될 수 있다.