[論文レビュー] Decision-Aware Learning for Optimizing Health Supply Chains

Tsai-Hsuan Chung, Vahid Rostami+2 more|arXiv (Cornell University)|Nov 15, 2022

Pharmaceutical Economics and Policy被引用数 6

ひとこと要約

本稿では、最適意思決定損失のテイラー展開を用いて、訓練用のサンプル再重み付けを導出する意思決定に配慮した学習フレームワークを提案する。このフレームワークにより、任意のモデルアーキテクチャ（ランダムフォレストを含む）にスケーラブルかつ柔軟に統合可能であり、マルチタスク学習の設定下で実証された。シエラレオネの医薬品割り当てに応用した結果、従来の予測次第最適化する手法と比較して、未満たされた需要が最大で10倍まで削減された。

ABSTRACT

We study the problem of allocating limited supply of medical resources in developing countries, in particular, Sierra Leone. We address this problem by combining machine learning (to predict demand) with optimization (to optimize allocations). A key challenge is the need to align the loss function used to train the machine learning model with the decision loss associated with the downstream optimization problem. Traditional solutions have limited flexibility in the model architecture and scale poorly to large datasets. We propose a decision-aware learning algorithm that uses a novel Taylor expansion of the optimal decision loss to derive the machine learning loss. Importantly, our approach only requires a simple re-weighting of the training data, ensuring it is both flexible and scalable, e.g., we incorporate it into a random forest trained using a multitask learning framework. We apply our framework to optimize the distribution of essential medicines in collaboration with policymakers in Sierra Leone; highly uncertain demand and limited budgets currently result in excessive unmet demand. Out-of-sample results demonstrate that our end-to-end approach can significantly reduce unmet demand across 1040 health facilities throughout Sierra Leone.

研究の動機と目的

• 発展途上国、特にシエラレオネにおいて、高い需要の不確実性と予算制約が原因で深刻な未満たされた需要が生じるという、限られた医療資材の割り当ての課題に対処すること。
• 予測と下流の意思決定を分離する従来の予測次第最適化アプローチの限界を克服し、しばしば劣った割り当て結果をもたらす問題を解消すること。
• 機械学習の訓練を、最適化からの実際の意思決定損失と一致させることで、予測が直接割り当て性能を向上させることを保証する、スケーラブルで柔軟な手法を開発すること。
• マルチタスク学習などの現代的で複雑なデータサイエンスパイプライン（例：マルチタスク学習）を意思決定に配慮した学習に効果的に統合できることを実現すること。これに対して、従来の手法はこれをサポートできなかった。

提案手法

• 最適割り当ての周囲で最適意思決定損失のテイラー展開を実行することで、予測モデルの訓練のための代替損失を導出する。これにより、勾配フリーの再重み付けに基づく最適化が可能になる。
• 導出された損失近似に基づいて訓練データを再重み付けし、微分可能または非微分可能なモデルアーキテクチャ（ランダムフォレストを含む）に統合可能になる。
• 意思決定損失のステージストリック近似を、モデルの予測（例：ランダムフォレスト内の複数の木）のモンテカルロサンプルを用いて実行することで、スケーラブルな最適化を実現する。
• 1,040の保健施設と8種類の必須医薬品の全範囲で同時に需要を予測する1つのモデルを訓練することで、マルチタスク学習を統合する。これにより、データが少ない施設の性能が向上する。
• フレームワークは標準的な機械学習パイプラインと互換性があり、最適化の全過程にわたるバックプロパゲーションの必要性を回避することで、大規模データセットへのスケーラビリティを確保する。
• ランダムフォレストフレームワーク内で実装されており、意思決定に配慮した損失近似から導出された再重み付けされたサンプルに基づいて各木が訓練されるマルチタスク学習設定を採用している。

実験結果

リサーチクエスチョン

• RQ1 高次元かつスパースなデータを伴う現実世界の医療供給チェーン問題に対して、意思決定に配慮した学習を柔軟かつスケーラブルに実現できるか？
• RQ2 意思決定損失のテイラー展開に基づく意思決定に配慮した学習は、従来の予測次第最適化手法と比較して、必須医薬品の未満たされた需要をどの程度削減できるか？
• RQ3 意思決定に配慮した学習を、スケーラビリティを損なわず、マルチタスクランダムフォレストのような現代的で複雑な機械学習パイプラインに効果的に統合できるか？
• RQ4 なぜ既存の意思決定に配慮した学習手法は、シエラレオネのデータセットのような大規模な医療供給チェーンデータセットにスケーリングできないのか？
• RQ5 標準的な施設ごとのモデルが失敗するような、歴史的データが少ない施設において、意思決定に配慮した学習はどの程度性能を向上させるのか？

主な発見

• 提案された意思決定に配慮した学習アプローチは、シエラレオネで調査された8種類の必須医薬品すべてにおいて、標準的な予測次第最適化ベースラインと比較して、未満たされた需要を最大で10倍まで削減した。
• 高割り当て施設では、未満たされた需要の平均がベースラインの18％から13％に低下した。低割り当て施設では、17％から11％に低下した。
• 従来の意思決定に配慮したアプローチ（意思決定焦点型学習や確率的最適化ランダムフォレストなど）に比べ、著しく優れた性能を示した。これらの手法は、シエラレオネのデータセットではスケーリングできず、合理的な時間内に終了しなかった。
• すべての施設と医薬品をカバーする1つのランダムフォレストモデルを用いたマルチタスク学習は、施設ごとのモデルと比較して、データが少ない施設の予測性能を顕著に向上させた。
• フレームワークにより、意思決定に配慮した学習を標準的な機械学習パイプライン（ランダムフォレストを含む）に効果的に統合可能であり、アーキテクチャの変更やエンドツーエンドのバックプロパゲーションを必要としなかった。
• 多様な施設タイプや医薬品カテゴリにわたり、本手法は一貫した高い性能を示し、現実世界の医療供給チェーン最適化における実用的妥当性を確認した。