[논문 리뷰] Knowledge Infused Policy Gradients for Adaptive Pandemic Control

Kaushik Roy, Qi Zhang외 2명|arXiv (Cornell University)|2021. 02. 11.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 4

한 줄 요약

이 논문은 지식 통합 정책 기울기(KIPG)를 제안하며, 봉쇄 정책에 대한 소프트 및 하드 제약 조건과 같은 구조화된 공중보건 지식을 통합한 강화학습 프레임워크를 개발한다. 비균일하고 상호관계가 있는 특징을 커널 기반 집합으로 모델링하고 기능적 제약 조건을 적용함으로써 KIPG는 샘플 효율적이고 해석 가능한 정책 학습을 가능하게 하여 시뮬레이션된 팬데믹 기간 동안 건강과 경제적 영향을 균형 있게 조절하는 데 지식에 무관한 기준보다 뛰어난 성능을 보인다.

ABSTRACT

COVID-19 has impacted nations differently based on their policy implementations. The effective policy requires taking into account public information and adaptability to new knowledge. Epidemiological models built to understand COVID-19 seldom provide the policymaker with the capability for adaptive pandemic control (APC). Among the core challenges to be overcome include (a) inability to handle a high degree of non-homogeneity in different contributing features across the pandemic timeline, (b) lack of an approach that enables adaptive incorporation of public health expert knowledge, and (c) transparent models that enable understanding of the decision-making process in suggesting policy. In this work, we take the early steps to address these challenges using Knowledge Infused Policy Gradient (KIPG) methods. Prior work on knowledge infusion does not handle soft and hard imposition of varying forms of knowledge in disease information and guidelines to necessarily comply with. Furthermore, the models do not attend to non-homogeneity in feature counts, manifesting as partial observability in informing the policy. Additionally, interpretable structures are extracted post-learning instead of learning an interpretable model required for APC. To this end, we introduce a mathematical framework for KIPG methods that can (a) induce relevant feature counts over multi-relational features of the world, (b) handle latent non-homogeneous counts as hidden variables that are linear combinations of kernelized aggregates over the features, and (b) infuse knowledge as functional constraints in a principled manner. The study establishes a theory for imposing hard and soft constraints and simulates it through experiments. In comparison with knowledge-intensive baselines, we show quick sample efficient adaptation to new knowledge and interpretability in the learned policy, especially in a pandemic context.

연구 동기 및 목표

• 팬데믹 제어에서 적응형이고 이해 가능하며 지식 기반인 강화학습의 부족을 해결하며, 정책이 공중보건과 경제적 내재성의 균형을 유지해야 한다.
• 비균일한 특징 수, 부분 관측 가능성, 구조화된 전문 지식을 처리하지 못하는 이전의 지식 통합 방법의 한계를 극복한다.
• 예를 들어 고위험 시설의 폐쇄나 신중한 봉쇄 조치와 같은 하드 및 소프트 제약 조건을 정책 기울기 과정에 기능적 제약 조건으로 통합할 수 있는 프레임워크를 개발한다.
• 후행 해석 방법을 피하기 위해 해석 가능한 선형 기저 함수와 투명한 특징 가중치를 사용하여 정책의 해석 가능성을 확보한다.
• 재학습 없이도 새로운 지식(예: 새로운 핫스팟 또는 업데이트된 지침)에 신속하게 적응할 수 있도록 원칙적인 제약 조건 통합을 통해 가능하게 한다.

제안 방법

• 엔터티(예: 직장, 상점)와 그 상호작용을 비균일한 수의 특징으로 표현하는 다중관계 그래프로 세계를 모델링한다.
• 커널 기반 집합 함수를 사용하여 은닉 변수를 계산하며, 이는 은닉 상태로 간주되는 잠재적인 비균일한 특징 수(예: 핫스팟 내 인원 수)를 나타낸다.
• 기능적 제약 조건으로 구조화된 공중보건 지식을 통합한다—예를 들어 고상호작용 지역의 의무 폐쇄와 같은 하드 제약 조건과 경계 봉쇄와 같은 소프트 제약 조건.
• 라그랑주 역할을 통한 제약 조건 통합을 통해 정책 기울기 업데이트를 공식화함으로써 보상 최적화와 제약 조건 이행을 동시에 최적화한다.
• 선형 기저 함수와 구조화된 입력 표현을 활용하여 신경망 정책의 매끄러움과 해석 가능성을 확보함으로써 인간이 이해할 수 있는 특징 중요도를 보장한다.
• 동적이고 비정적 조건과 감염률의 부분 관측 가능성을 가진 시뮬레이션된 팬데믹 환경에서 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 기능적 제약 조건을 통한 지식 통합이 표준 강화학습 대비 적응형 팬데믹 제어 정책 학습에서 샘플 효율성을 향상시키는가?
• RQ2 공중보건 지침을 반영하는 소프트 및 하드 제약 조건의 통합이 정책 성능과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 다양한 위치에서 다른 수의 사람들이 있는 등 비균일하고 상호관계가 있는 특징을 처리하면서도 해석 가능성을 유지할 수 있는가?
• RQ4 후행 해석이 아닌 학습 도중에도 선형 기저 함수의 조합으로 정책을 구성함으로써 정책을 해석 가능하게 만들 수 있는가?
• RQ5 재학습 없이도 새로운 지식(예: 새로운 핫스팟 또는 업데이트된 지침)에 적응할 수 있는가? 특히 치명적인 잊음이나 광범위한 재학습을 피할 수 있는가?

주요 결과

• KIPG는 새로운 지식이 학습 도중 도입될 경우 효과적인 팬데믹 제어 정책 학습에서 뚜렷한 샘플 효율성을 보였다.
• 지식에 무관한 기준 대비 더 빠른 수렴과 향상된 성능을 달성했으며, 특히 생명 구제와 경제적 영향이라는 상충되는 목표를 균형 있게 조절하는 데서 두드러졌다.
• 직접 선형 기저 함수를 통해 학습된 해석 가능한 정책 구조는 도메인 전문가가 특징 중요도를 평가하고 정책 결정을 검증할 수 있도록 했다.
• 최적화 과정에서 기능적 제약 조건을 통해 소프트 제약 조건(예: 경계 봉쇄)과 하드 제약 조건(예: 고위험 시설의 의무 폐쇄)을 성공적으로 처리했다.
• 잠재적 특징 수를 위한 커널 기반 집합을 사용함으로써 모델은 팬데믹 역학의 부분 관측 가능성과 비정적 특성을 효과적으로 관리할 수 있었다.
• 입력 레이어의 정책 가중치가 도메인 지식과 일치하는 것으로 나타나, 에이전트가 예상대로 고위험 지역과 행동을 우선순위로 삼는 것을 학습했다.