[논문 리뷰] Decision-Aware Learning for Optimizing Health Supply Chains

Tsai-Hsuan Chung, Vahid Rostami외 2명|arXiv (Cornell University)|2022. 11. 15.

Pharmaceutical Economics and Policy인용 수 6

한 줄 요약

이 논문은 최적의 의사결정 손실의 테일러 전개를 사용하여 학습을 위한 샘플 재가중치를 유도하는 의사결정 인식 학습 프레임워크를 제안한다. 이는 어떤 모델 아키텍처와도 확장 가능하고 유연하게 통합할 수 있도록 하며, 다중 작업 학습 설정에서 랜덤 포레스트를 통해 구현되었다. 실리아 레온에서의 의약품 배분에 적용된 결과, 기존의 예측-다음에-최적화 방법에 비해 충족되지 않은 수요를 최대 10배까지 감소시켰다.

ABSTRACT

We study the problem of allocating limited supply of medical resources in developing countries, in particular, Sierra Leone. We address this problem by combining machine learning (to predict demand) with optimization (to optimize allocations). A key challenge is the need to align the loss function used to train the machine learning model with the decision loss associated with the downstream optimization problem. Traditional solutions have limited flexibility in the model architecture and scale poorly to large datasets. We propose a decision-aware learning algorithm that uses a novel Taylor expansion of the optimal decision loss to derive the machine learning loss. Importantly, our approach only requires a simple re-weighting of the training data, ensuring it is both flexible and scalable, e.g., we incorporate it into a random forest trained using a multitask learning framework. We apply our framework to optimize the distribution of essential medicines in collaboration with policymakers in Sierra Leone; highly uncertain demand and limited budgets currently result in excessive unmet demand. Out-of-sample results demonstrate that our end-to-end approach can significantly reduce unmet demand across 1040 health facilities throughout Sierra Leone.

연구 동기 및 목표

• 개발도상국, 특히 실리아 레온에서 제한된 의료 물자 할당 문제를 해결하기 위해, 높은 수요 불확실성과 예산 제약로 인해 심각한 충족되지 않은 수요가 발생하는 문제를 다루는 것.
• 예측과 후속 의사결정 과정를 분리하는 전통적인 예측-다음에-최적화 접근 방식의 한계를 극복하기 위해, 종종 낮은 할당 성과를 초래하는 문제를 해결하는 것.
• 기계학습 학습 과정을 실제 최적화 손실과 일치시켜, 예측이 직접적으로 할당 성능을 향상시키는 확장 가능하고 민첩한 방법을 개발하는 것.
• 기존 방법이 지원하지 못하는 현대적이고 복잡한 데이터 과학 파이프라인(예: 다중 작업 학습)을 의사결정 인식 학습에 효과적으로 통합할 수 있도록 하는 것.

제안 방법

• 최적의 할당 주변에서 최적의 의사결정 손실의 테일러 전개를 수행하여 예측 모델 학습을 위한 대체 손실을 유도함으로써, 기울기 기반 최적화 없이도 샘플 재가중 기반 최적화를 가능하게 한다.
• 유도된 손실 근사치를 바탕으로 학습 데이터를 재가중함으로써, 랜덤 포레스트를 포함한 모든 미분 가능 또는 비가역 모델 아키텍처와 통합 가능하다.
• 랜덤 포레스트의 예측(예: 여러 개의 트리에서 유도된 예측)을 이용한 몬테카를로 샘플링을 통한 의사결정 손실의 확률적 근사치를 사용하여 확장 가능한 최적화를 가능하게 한다.
• 모든 1,040개의 보건 시설과 8종의 필수 약품에 대해 동시에 수요를 예측하는 단일 모델을 훈련시킴으로써 다중 작업 학습을 통합하여, 낮은 데이터를 가진 시설의 성능을 향상시킨다.
• 표준 머신러닝 파이프라인과 호환되며, 최적화를 통한 전방향 전파를 전부 수행할 필요 없이 확장 가능한 대용량 데이터셋에 적합하다.
• 랜덤 포레스트 프레임워크 내에서 다중 작업 학습 설정을 사용하여, 의사결정 인식 손실 근사치에서 유도된 재가중 샘플을 기반으로 각 트리를 훈련시킨다.

실험 결과

연구 질문

• RQ1 고차원적이고 희박한 데이터를 가진 실세계의 의료 공급망 문제에 대해 의사결정 인식 학습을 확장 가능하고 민감하게 적용할 수 있는가?
• RQ2 의사결정 손실의 테일러 전개를 기반으로 한 의사결정 인식 학습이 기존의 예측-다음에-최적화 방법에 비해 필수 의약품의 충족되지 않은 수요를 얼마나 줄이는가?
• RQ3 의사결정 인식 학습을 다중 작업 랜덤 포레스트와 같은 현대적이고 복잡한 머신러닝 파이프라인에 효과적으로 통합할 수 있는가, 이는 확장성의 손실 없이 가능한가?
• RQ4 기존의 의사결정 인식 학습 방법들이 실리아 레온의 대규모 의료 공급망 데이터셋에 비해 확장성이 떨어지는 이유는 무엇인가?
• RQ5 표준 개별 시설 모델이 실패하는 낮은 역사적 데이터를 가진 시설에서 의사결정 인식 학습이 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 의사결정 인식 학습 접근법은 실리아 레온에서 연구된 8종의 필수 의약품 전반에 걸쳐 기존의 표준 예측-다음에-최적화 기준에 비해 충족되지 않은 수요를 최대 한 단계(10배) 감소시켰다.
• 고수준 할당 시설의 경우, 평균 충족되지 않은 수요가 기준값 18%에서 13%로 감소하였고, 저수준 할당 시설의 경우 17%에서 11%로 감소하였다.
• 기존의 의사결정 중심 학습 및 확률적 최적화 랜덤 포레스트와 비교해 본 결과, 실리아 레온 데이터셋에서 합리적인 시간 내에 수렴하지 못하고 확장성이 떨어지는 기존 방법에 비해 상당히 뛰어난 성능을 보였다.
• 모든 시설과 의약품에 대해 단일 랜덤 포레스트 모델을 사용한 다중 작업 학습은, 개별 시설 모델 대비 낮은 데이터를 가진 시설의 예측 성능을 크게 향상시켰다.
• 의사결정 인식 학습을 표준 머신러닝 파이프라인(랜덤 포레스트 포함)에 효과적으로 통합할 수 있었으며, 아키텍처 수정이나 전방향 전파를 통한 전체 경로 역전파가 필요 없었다.
• 다양한 시설 유형과 의약품 유형 전반에서 뛰어난 성능을 보이며, 실세계 의료 공급망 최적화에 대한 실용성과 타당성을 입증하였다.