[논문 리뷰] Explaining Preference-driven Schedules: the EXPRES Framework

Alberto Pozanco, Francesca Mosca외 3명|arXiv (Cornell University)|2022. 03. 16.

Scheduling and Timetabling Solutions인용 수 4

한 줄 요약

이 논문은 혼합정수선형계획법(MILP)을 사용하여 최적의 선호 기반 스케줄에서 개인의 선호가 만족되지 않는 이유를 규명하는 EXPRES라는 프레임워크를 소개한다. 이는 이러한 이유를 인간이 이해할 수 있는 설명으로 번역하며, 시뮬레이션과 사용자 연구를 통해 J.P. 모건의 직원들이 인간이 만든 설명보다 자동 생성된 설명을 선호한다는 것을 입증한다.

ABSTRACT

Scheduling is the task of assigning a set of scarce resources distributed over time to a set of agents, who typically have preferences about the assignments they would like to get. Due to the constrained nature of these problems, satisfying all agents' preferences is often infeasible, which might lead to some agents not being happy with the resulting schedule. Providing explanations has been shown to increase satisfaction and trust in solutions produced by AI tools. However, it is particularly challenging to explain solutions that are influenced by and impact on multiple agents. In this paper we introduce the EXPRES framework, which can explain why a given preference was unsatisfied in a given optimal schedule. The EXPRES framework consists of: (i) an explanation generator that, based on a Mixed-Integer Linear Programming model, finds the best set of reasons that can explain an unsatisfied preference; and (ii) an explanation parser, which translates the generated explanations into human interpretable ones. Through simulations, we show that the explanation generator can efficiently scale to large instances. Finally, through a set of user studies within J.P. Morgan, we show that employees preferred the explanations generated by EXPRES over human-generated ones when considering workforce scheduling scenarios.

연구 동기 및 목표

• 제약 조건이 있는 환경에서 특히 최적의 다중 에이전트 스케줄링 해법에서 일부 선호가 만족되지 않는 이유를 설명하는 데 도전하는 것.
• 개인의 이해를 지원하면서도 에이전트의 프라이버시를 유지하는 가용성 있는 자동화된 설명 시스템을 개발하는 것.
• 실제 스케줄링 맥락에서 기계가 생성한 설명이 인간이 만든 설명보다 더 효과적인지 평가하는 것.
• 설명 생성 작업을 만족되지 않은 선호의 영향을 미치는 최소한의 요인을 식별하는 최적화 문제로 공식화하는 것.

제안 방법

• 만족되지 않은 선호를 정당화하는 데 필요한 최소한의 제약 조건과 만족된 선호의 조합을 찾기 위해 설명 생성 작업을 혼합정수선형계획법(MILP) 문제로 모델링한다.
• 관련 요인을 식별하기 위해 '관련된' 및 '영향을 받는' 에이전트와 선호를 정의한다.
• 두 단계 프로세스를 사용한다: 첫 번째로 MILP를 통해 저수준의 설명을 생성하고, 두 번째로 이를 자연어 설명으로 파싱하고 그룹화하여 최종 사용자에게 제공한다.
• 다른 에이전트의 선호 및 배치에 관한 정보를 반드시 필요한 범위로 제한함으로써 프라이버시를 유지한다.
• J.P. 모건의 실제 인력 스케줄링 시스템에 프레임워크를 통합하여 사용성과 선호도를 평가한다.
• 선호 유형의 전체 순서가 존재하는 모든 스케줄링 문제에 적용 가능하게 하여 도메인 간 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 자동화된 시스템이 다중 에이전트 스케줄링에서 만족되지 않은 선호에 대해 정확하고 이해하기 쉬운 설명을 생성할 수 있는가?
• RQ2 설명 생성 컴포onent의 확장성은 대규모 스케줄링 인스턴스에서 어떻게 성능을 보이는가?
• RQ3 실제 스케줄링 상황에서 사용자가 기계가 생성한 설명을 인간이 만든 설명보다 선호하는가?
• RQ4 설명은 최적 스케줄에 대한 사용자 이해도와 신뢰도를 어느 정도 향상시키는가?
• RQ5 개인의 선호와 인지 스타일에 맞게 설명을 맞춤화하면서도 프라이버시를 보장할 수 있는가?

주요 결과

• EXPRES 프레임워크는 MILP를 사용하여 만족되지 않은 선호에 대한 설명을 성공적으로 생성했으며, 대규모 스케줄링 인스턴스에 대해서도 효율적인 확장성을 확보했다.
• J.P. 모건에서 실시한 사용자 연구 결과, 직원들은 명확성과 공정성 인식 측면에서 인간이 작성한 설명보다 EXPRES가 자동 생성한 설명을 선호했다.
• 설명 생성기에서는 특정 선호가 만족되지 않는 원인으로 가장 관련성이 높은 제약 조건과 만족된 선호를 식별하여 실질적인 통찰을 제공했다.
• 프레임워크는 다른 에이전트의 선호 및 배치에 관한 정보를 반드시 필요한 수준으로 제한함으로써 프라이버시를 보장했다.
• 설명 파서는 저수준의 MILP 출력을 자연어 설명으로 성공적으로 변환하여 최종 사용자가 정확하고 이해하기 쉬운 설명을 얻을 수 있도록 했다.
• 선호 유형에 대한 전체 순서가 존재하는 다양한 스케줄링 문제에 적용 가능하기에, 초기 사용 사례를 초월한 광범위한 적용 가능성을 입증했다.