[논문 리뷰] Understanding how T helper cells learn to coordinate effective immune responses through the lens of reinforcement learning

Takuya Kato, Tetsuya J. Kobayashi|arXiv (Cornell University)|2019. 04. 11.

Artificial Immune Systems Applications참고 문헌 69인용 수 8

한 줄 요약

이 논문은 항원 패턴과 최적의 효과세포 반응을 연관지켜 효과적인 면역 반응을 조율하는 T 보조 (Th) 세포의 학습 방식을 모델링하기 위해 강화학습(RL) 프레임워크를 제안한다. 마르코프 결정 과정과 네트워크 기반 강화학습을 사용하여, 클론 선택과 세포 간 상호작용이 학습 규칙으로서 부상하는 것을 도출하며, 실험적으로 관찰된 클론 크기 분포를 재현하고, 적응성 면역을 계산적 학습 시스템으로 재해석한다.

ABSTRACT

The adaptive immune system of vertebrates can detect, respond to, and memorize diverse pathogens from past experience. While the clonal selection of T helper (Th) cells is the simple and established mechanism to better recognize new pathogens, the question that still remains unexplored is how the Th cells can acquire better ways to bias the responses of immune cells for eliminating pathogens more efficiently by translating the recognized antigen information into regulatory signals. In this work, we address this problem by associating the adaptive immune network organized by the Th cells with reinforcement learning (RL). By employing recent advancements of network-based RL, we show that the Th immune network can acquire the association between antigen patterns of and the effective responses to pathogens. Moreover, the clonal selection as well as other inter-cellular interactions are derived as a learning rule of the network. We also demonstrate that the stationary clone-size distribution after learning shares characteristic features with those observed experimentally. Our theoretical framework may contribute to revising and renewing our understanding of adaptive immunity as a learning system.

연구 동기 및 목표

• 병원체 노출 후 T 보조 세포가 효과세포 면역 반응을 더 효과적으로 편향시키는 방식을 이해하기 위해.
• Th 세포가 항원 정보를 사이토카인 신호와 통합하여 면역 조율을 최적화하는 방식에 대한 이해 부족을 해소하기 위해.
• 알고리즘 및 계산 수준에서 강화학습 원리를 적용하여 적응성 면역을 학습 시스템으로 재구성하기 위해.
• 강화학습 동역학에서 유비쿼터스한 학습 규칙—예를 들어 클론 선택과 세포 간 소통—을 도출하기 위해.

제안 방법

• 상태가 항원 패턴을 나타내고 행동이 사이토카인 분비를 나타내는 마르코프 결정 과정(MDP)을 사용하여 Th 세포 네트워크를 강화학습 문제로 수식화하기.
• 각 세포가 병원체 제거 결과로부터 시도-오류 피드백을 통해 최적의 반응 정책을 학습하는 네트워크 시스템으로서 Th 세포 집단을 모델링하기.
• Th 세포 집단 전반의 학습 동역학과 정책 최적화를 시뮬레이션하기 위해 네트워크 기반 딥 강화학습 알고리즘을 활용하기.
• 성공적인 클론들이 보상 신호에 기반해 확장되므로, 강화학습 업데이트 규칙의 산출물로 클론 선택 메커니즘을 도출하기.
• 학습 후 정적 클론 크기 분포를 시뮬레이션하고, T 세포 면역글로불린 프로파일링 연구에서의 실험 데이터와 비교하기.
• 프레임워크를 사용하여 세포 간 상호작용, 예를 들어 사이토카인 매개 소통이 최적 정책 학습 과정의 일부로 자연스럽게 나타남을 보여주기.

실험 결과

연구 질문

• RQ1 T 보조 세포는 특정 항원 패턴과 효과적인 효과세포 반응을 연관지켜 병원체 제거를 향상시킬 수 있는가?
• RQ2 Th 세포 네트워크를 강화학습 시스템으로 모델링했을 때 어떤 학습 규칙이 부상하는가?
• RQ3 적응성 면역 시스템의 클론 선택 메커니즘이 사전에 가정되는 것이 아니라 강화학습 동역학의 결과로 도출될 수 있는가?
• RQ4 세포 간 상호작용, 예를 들어 사이토카인 신호 전달은 강화학습 프레임워크에서 어떻게 자연스럽게 발생하는가?
• RQ5 모델이 예측한 정적 클론 크기 분포가 T 세포 면역글로불린 프로파일링에서의 실험 관측치와 일치하는가?

주요 결과

• 강화학습 프레임워크는 성공적인 Th 세포 클론이 효과적인 면역 반응에서 온 보상 신호에 기반해 확장되는 잠재적 학습 규칙으로서 클론 선택 메커니즘을 성공적으로 도출한다.
• 모델은 고속 시퀀싱 데이터에서 관찰된 무거운 尾 꼬리형 및 이질적인 패턴을 포함한 실험적으로 관찰된 T 세포 클론 크기 분포의 핵심 특징을 재현한다.
• 사이토카인을 통한 세포 간 소통는 최적 정책의 일부로 자연스럽게 나타나며, 이러한 상호작용이 임의적이 아니라 병원체 제거를 최대화하기 위해 학습된다는 것을 시사한다.
• 이 시스템은 특정 항원 패턴과 적절한 효과세포 반응—예를 들어 바이러스에 대해서는 세포독성 T 세포를 활성화하고, 박테리아에 대해서는 매크로파지 활성화—를 연관시키는 것을 학습하여 功能적 특이성을 보여준다.
• 학습 후 Th 세포 네트워크의 정적 상태는 인간 T 세포 면역글로불린 프로파일링에서의 실증 데이터와 일치하는 클론 크기 분포를 나타낸다.
• 이 프레임워크는 계산적, 알고리즘적, 실행 수준을 통합하여 적응성 면역 시스템이 학습 시스템으로서 작동하는 데 수학적으로 탄탄한 설명을 제공한다.