[논문 리뷰] Interpretable and Personalized Apprenticeship Scheduling: Learning Interpretable Scheduling Policies from Heterogeneous User Demonstrations

Rohan Paleja, Andrew Silva외 2명|arXiv (Cornell University)|2019. 06. 14.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 개인화된 신경 트리(PNT)를 제안하며, 희소 신경망과 변동형 추론을 사용하여 이질적인 인간의 시연 데이터에서 해석 가능한 개인화된 스케줄링 정책을 추출하는 새로운 애자일러닝 프레임워크이다. 실제 데이터에서 88.22%의 모방 정확도를 달성하며 기존의 기준 모델들보다 +11% 높은 성능을 보였고, 사용자 연구를 통해 블랙박스 신경망보다 해석 가능성이 뛰어나고 검증이 더 쉬운 것으로 확인되었다(p < 0.01).

ABSTRACT

Resource scheduling and coordination is an NP-hard optimization requiring an efficient allocation of agents to a set of tasks with upper- and lower bound temporal and resource constraints. Due to the large-scale and dynamic nature of resource coordination in hospitals and factories, human domain experts manually plan and adjust schedules on the fly. To perform this job, domain experts leverage heterogeneous strategies and rules-of-thumb honed over years of apprenticeship. What is critically needed is the ability to extract this domain knowledge in a heterogeneous and interpretable apprenticeship learning framework to scale beyond the power of a single human expert, a necessity in safety-critical domains. We propose a personalized and interpretable apprenticeship scheduling algorithm that infers an interpretable representation of all human task demonstrators by extracting decision-making criteria via an inferred, personalized embedding non-parametric in the number of demonstrator types. We achieve near-perfect LfD accuracy in synthetic domains and 88.22\\% accuracy on a planning domain with real-world, outperforming baselines. Finally, our user study showed our methodology produces more interpretable and easier-to-use models than neural networks ($p &lt; 0.05$).

연구 동기 및 목표

• 다양한 개인화된 히우리스틱과 경험칙을 사용하는 이질적인 인간 스케줄링 전문가들로부터 학습하는 도전 과제를 해결한다.
• 동질적인 시연자를 가정하는 전통적 애자일러닝의 한계를 극복하여 다중모달 의사결정을 포착하지 못하는 문제를 해결한다.
• 높은 정확도를 유지하면서도 사후 해석이 가능한 데이터 효율적인 프레임워크를 개발한다.
• 의료 및 제조와 같은 안전이 중요한 분야에서의 실용적 구현을 가능하게 하여 스케줄링 결정의 투명성과 검증 가능성을 보장한다.
• 실제 인간-AI 협업 환경에서 신경망 기반 해석 가능한 모델이 블랙박스 대비 더 사용하기 쉽고 신뢰할 수 있음을 입증한다.

제안 방법

• 모든 시연자별로 희소하고 분리된 임bedding을 갖춘 개인화된 신경망 아키텍처를 설계하여, 시연자 유형의 수에 제한 없이 개인의 의사결정 기준을 모델링한다.
• 각 시연자의 고유한 전략을 나타내는 잠재 코드를 변동형 추론을 통해 추론하여, 이질적인 시연 데이터로부터 다중모달 행동을 모델링한다.
• 전문가의 경로를 모방하도록 적대적 모방 학습 목적함수를 사용하여 모델을 훈련시키며, 동시에 희소성 덕분에 해석 가능성을 유지한다.
• 훈련된 신경망을 사후에 부울 결정 트리로 이산화하여 인간이 직접 정책 논리를 이해할 수 있도록 한다.
• 네트워크의 희소성을 활용해 정확도 손실 없이도 인간이 읽을 수 있는 결정 트리로 쉽게 변환할 수 있다.
• 합성 및 실제 스케줄링 도메인에 프레임워크를 적용하였으며, 병원 및 공장 조율 작업을 포함한 실제 데이터셋을 기반으로 실험적 검증을 수행하였다.

실험 결과

연구 질문

• RQ1 동질성에 대한 가정 없이, 다수의 인간 시연자들로부터 이질적인 스케줄링 전략을 효과적으로 모델링할 수 있는 단일 애자일러닝 프레임워크가 존재하는가?
• RQ2 신경망 기반 정책이 해석 가능한 결정 트리로 변환될 수 있으며, 이 과정에서 높은 정확도를 유지하면서 인간 검증이 가능할 수 있는가?
• RQ3 실제 환경에서 해석 가능성, 시뮬레이션 용이성, 검증 속도 측면에서 유도된 해석 가능한 모델이 블랙박스 신경망보다 뛰어나게 성능을 발휘하는가?
• RQ4 합성 및 실제 스케줄링 작업 모두에서 최신 기술 대비 정확도와 강건성 측면에서 이 프레임워크는 얼마나 향상되었는가?
• RQ5 사람의 인지 및 사용성 측면에서 파생된 결정 트리의 해석 가능성은 블랙박스 신경망에 비해 어느 정도 뛰어나게 되는가?

주요 결과

• 개인화된 신경 트리(PNT) 프레임워크는 실제 스케줄링 데이터에서 88.22%의 모방 정확도를 달성하며, 이는 기존 기준 모델들보다 +11% 높은 성능이다.
• 합성 도메인에서는 근사적으로 완벽한 모방 정확도를 기록하여 강력한 일반화 능력과 표현 능력을 입증하였다.
• 사용자 연구 결과, PNT에서 파생된 해석 가능한 결정 트리는 블랙박스 신경망보다 유의미하게 더 해석 가능하다(p < 0.05), 더 쉽게 시뮬레이션할 수 있다(p < 0.01), 더 빠르게 검증할 수 있다(p < 0.01).
• 이산화된 결정 트리는 높은 성능을 유지하며, 변환 후 합성 및 실제 도메인 모두에서 이전의 기준 모델들을 능가하였다.
• 이 프레임워크는 시연자 유형의 수에 제한 없이 이질적인 시연자들로부터 다중모달 행동을 성공적으로 포착하여 개인화된 정책 학습이 가능했다.
• 모든 코드, 데이터셋, 훈련된 모델을 공개하여 공동체의 재사용과 검증을 지원함으로써 강력한 재현 가능성을 입증하였다.