[논문 리뷰] The Best Decisions Are Not the Best Advice: Making Adherence-Aware Recommendations

Julien Grand-Clément, Jean Pauphilet|arXiv (Cornell University)|2022. 09. 05.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 인간 의사결정자가 알고리즘 권고에서 부분적으로 이탈하는 전문가-인-더-루프 의사결정 시스템을 위한 적응도 인지 최적화 프레임워크를 제안한다. 인간의 기본 정책과 알고리즘 권고 사이를 오가는 전환 행동을 모델링함으로써, 이러한 이탈에 대해 강건한 권고 정책을 계산하고, 이는 임의의 적응도 수준에서도 기본 정책과 표준 알고리즘 정책을 모두 초월하는 성능을 보장한다.

ABSTRACT

Many high-stake decisions follow an expert-in-loop structure in that a human operator receives recommendations from an algorithm but is the ultimate decision maker. Hence, the algorithm's recommendation may differ from the actual decision implemented in practice. However, most algorithmic recommendations are obtained by solving an optimization problem that assumes recommendations will be perfectly implemented. We propose an adherence-aware optimization framework to capture the dichotomy between the recommended and the implemented policy and analyze the impact of partial adherence on the optimal recommendation. We show that overlooking the partial adherence phenomenon, as is currently being done by most recommendation engines, can lead to arbitrarily severe performance deterioration, compared with both the current human baseline performance and what is expected by the recommendation algorithm. Our framework also provides useful tools to analyze the structure and to compute optimal recommendation policies that are naturally immune against such human deviations, and are guaranteed to improve upon the baseline policy.

연구 동기 및 목표

• 완전한 적응도를 전제로 하는 알고리즘 권고 시스템의 격차를 보완하기 위해, 실제 세계의 전문가들이 자주 권고를 따르지 않는다는 점을 고려한다.
• 고위험 순차적 의사결정에서 부분적 적응도가 시스템 성능에 미치는 영향을 모델링하고 정량화한다.
• 인간의 이탈에 대해 내재적으로 강건하고, 기본 정책 및 표준 알고리즘 정책을 모두 초월하는 성능을 보장하는 권고 정책을 설계한다.
• 효율적으로 계산되고 다양한 적응도 패턴에 쉽게 적응할 수 있는 계산 가능하고 체계적이며 유연한 최적화 프레임워크를 제공한다.

제안 방법

• 기본 정책과 알고리즘 권고 사이에서 의사결정자가 전환 행동을 보이는 방식을 모델링하는 새로운 적응도 인지 마르코프 결정 과정(AdaMDP)을 제안한다.
• 보상과 전이 확률이 기본 정책과 적응도 수준 θ에 따라 달라지는 서브티튜트 MDP 설정을 도입한다.
• 가능한 기본 정책의 집합에 대해 직사각형 가정을 도입하여 최적 권고의 존재성과 계산 가능성을 보장한다.
• 적응도 인지 최적화 문제를 고전적 강건 MDP 문제로 환원함으로써, 알려진 알고리즘을 통해 효율적인 계산이 가능하도록 한다.
• 적응도 수준에 따른 최적 정책의 정적성, 결정성, 단조성 등의 구조적 성질을 분석한다.
• 상태에 따라 다를 수 있는, 행동에 따라 다를 수 있는, 불확실한, 부분적으로 알려진 기본 정책을 다룰 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 인간 의사결정자가 부분적으로 이탈할 경우 전문가-인-더-루프 시스템에서 알고리즘 권고의 성능에 어떤 영향을 미치는가?
• RQ2 인간의 이탈에 대해 증명 가능한 강건성을 지닌 권고 정책을 설계할 수 있으며, 이는 기본 정책 및 표준 알고리즘 정책을 모두 초월하는가?
• RQ3 다양한 적응도 패턴 하에서 적응도 인지 권고 정책은 어떤 구조적 및 계산적 성질을 갖는가?
• RQ4 어떤 조건에서 인간 의사결정자가 특정 상태에서 부분적 적응도 문제를 무시해도 안전한가?
• RQ5 시간에 따라 변하는 또는 불확실한 적응도 수준을 다룰 수 있도록 프레임워크를 어떻게 확장할 수 있는가?

주요 결과

• 부분적 적응도 하에서 최적의 권고 정책은 항상 정적이고 결정적이며, 실용적인 구현 가능성을 보장한다.
• 프레임워크는 적응도 수준에 관계없이 최적 권고 정책이 기본 정책과 표준 알고리즘 정책을 항상 초월함을 보장한다.
• 희귀한 인간의 권고 이탈이 알고리즘 설계에서 忽略되면, 성능이 임의로 악화될 수 있음을 시사하며, 비준수의 위험성을 부각한다.
• 최적의 수익은 적응도 수준에 대해 단조롭게 변화하며, 높은 적응도일수록 성능이 더 좋거나 동일함을 의미한다.
• 약한 가정 하에서 최적화 문제는 강건 MDP로 재구성 가능하며, 기본 정책 집합이 볼록이고 컴act할 경우 효율적인 계산이 가능하다.
• 부분적 적응도가 권고에 영향을 주지 않는 상태를 식별함으로써, 해당 맥락에서 정책 단순화가 가능하다.