[論文レビュー] Knowledge Infused Policy Gradients for Adaptive Pandemic Control

Kaushik Roy, Qi Zhang+2 more|arXiv (Cornell University)|Feb 11, 2021

Advanced Bandit Algorithms Research参考文献 15被引用数 4

ひとこと要約

本稿では、封鎖政策におけるソフト制約およびハード制約といった構造的で公的な保健知識を、適応的パンデミック対策に統合する強化学習フレームワーク「知識統合型ポリシーグラディエント（KIPG）」を提案する。非一様かつ関係的特徴量をカーネル化された集約によってモデル化し、機能的制約を課すことで、KIPGは、シミュレートされたパンデミックにおいて、健康と経済的影響のバランスを最適化する上で、知識に依存しないベースラインを上回る、サンプル効率的で解釈可能なポリシー学習を可能にする。

ABSTRACT

COVID-19 has impacted nations differently based on their policy implementations. The effective policy requires taking into account public information and adaptability to new knowledge. Epidemiological models built to understand COVID-19 seldom provide the policymaker with the capability for adaptive pandemic control (APC). Among the core challenges to be overcome include (a) inability to handle a high degree of non-homogeneity in different contributing features across the pandemic timeline, (b) lack of an approach that enables adaptive incorporation of public health expert knowledge, and (c) transparent models that enable understanding of the decision-making process in suggesting policy. In this work, we take the early steps to address these challenges using Knowledge Infused Policy Gradient (KIPG) methods. Prior work on knowledge infusion does not handle soft and hard imposition of varying forms of knowledge in disease information and guidelines to necessarily comply with. Furthermore, the models do not attend to non-homogeneity in feature counts, manifesting as partial observability in informing the policy. Additionally, interpretable structures are extracted post-learning instead of learning an interpretable model required for APC. To this end, we introduce a mathematical framework for KIPG methods that can (a) induce relevant feature counts over multi-relational features of the world, (b) handle latent non-homogeneous counts as hidden variables that are linear combinations of kernelized aggregates over the features, and (b) infuse knowledge as functional constraints in a principled manner. The study establishes a theory for imposing hard and soft constraints and simulates it through experiments. In comparison with knowledge-intensive baselines, we show quick sample efficient adaptation to new knowledge and interpretability in the learned policy, especially in a pandemic context.

研究の動機と目的

• パンデミック対策において、公的保健と経済的レジリエンスの両方をバランスさせる必要がある中で、適応的で解釈可能かつ知識に配慮した強化学習の不足に応えること。
• 非一様な特徴数、部分的観測、構造的専門家知識を処理できない既存の知識統合手法の限界を克服すること。
• 閉鎖の高リスク施設や慎重な封鎖といった、ハード制約（例：高相互作用地域の強制閉鎖）とソフト制約（例：慎重な封鎖）を、ポリシーグラディエントプロセスに機能的制約として埋め込むフレームワークを開発すること。
• 後処理による説明手法を避けるために、透明な特徴重みを持つ構造的線形基底関数を学習することで、ポリシーの解釈可能性を保証すること。
• 再訓練を完全に再開することなく、新規の知識（例：新規のホットスポットや更新された指針）への迅速な適応を可能にする、原理的制約統合によるフレームワークの構築

提案手法

• エンティティ（例：職場、店舗）とその相互作用を非一様なカウントを持つ特徴として表現する多関係的グラフとして世界をモデル化する。
• カーネル化された集約関数を用いて、隠れ変数（例：ホットスポット内の人数など）を計算し、それらを潜在状態として扱う。
• 機能的制約として構造的公的保健知識（ハード制約：例として高相互作用地域の強制閉鎖、ソフト制約：例として慎重な封鎖）をポリシーグラディエントの目的関数に統合する。
• ラグランジュ緩和を用いて制約を含むポリシーグラディエント更新を定式化し、報酬最適化と制約の満たし方を同時に最適化可能にする。
• 線形基底関数と構造的入力表現を活用することで、ニューラルネットワークポリシーにおける滑らかさと解釈可能性を強化し、人間が読み取り可能な特徴重要度を保証する。
• 動的かつ非定常な状態と感染率の部分的観測を伴うシミュレートされたパンデミック環境で、フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 機能的制約による知識統合は、標準的な強化学習と比較して、適応的パンデミック対策ポリシーの学習におけるサンプル効率を向上させるか？
• RQ2 公的保健指針を表すソフト制約とハード制約の両方の統合が、ポリシーのパフォーマンスと収束速度に与える影響は何か？
• RQ3 異なる場所における人々の数のばらつきといった、非一様で関係的特徴量を扱う際、解釈可能性を維持できるか？
• RQ4 後処理による説明ではなく、解釈可能な基底関数の線形結合としてポリシーを構造化することで、学習中にも解釈可能にできるか？
• RQ5 再訓練を大幅に繰り返すことなく、新規のホットスポットや更新された指針といった新しい知識に、モデルはどのように適応できるか？

主な発見

• KIPGは、特にトレーニング中に新しい知識が導入された場合に顕著なサンプル効率を示した。
• 知識に依存しないベースラインと比較して、収束が早く、パフォーマンスも優れており、命を救う数と経済的影響の両立という相反する目的のバランスを取る上で顕著に優れた結果を達成した。
• 解釈可能なポリシー構造が、線形基底関数を通じて直接学習されたため、ドメインエキスパートが特徴の重要度を評価し、ポリシー意思決定を検証できるようになった。
• 最適化プロセスにおいて機能的制約として統合されたことにより、モデルはソフト制約（例：慎重な封鎖）とハード制約（例：高リスク施設の強制閉鎖）の両方を効果的に処理した。
• 潜在的特徴数のためのカーネル化された集約の使用により、パンデミックダイナミクスにおける部分的観測と非定常性を効果的に管理できた。
• 入力層のポリシー重みがドメイン知識と整合していることが判明し、エージェントが予想どおりに高リスクの場所や行動を優先して学習していることが示された。