[論文レビュー] Understanding how T helper cells learn to coordinate effective immune responses through the lens of reinforcement learning

Takuya Kato, Tetsuya J. Kobayashi|arXiv (Cornell University)|Apr 11, 2019

Artificial Immune Systems Applications参考文献 69被引用数 8

ひとこと要約

本論文は、抗原パターンと最適な効果細胞応答を関連付けることで、T便宜細胞（Th細胞）が効果的な免疫応答を調整する方法をモデル化する強化学習（RL）フレームワークを提案する。マルコフ決定過程とネットワークベースのRLを用いて、クローン選択と細胞間相互作用が、学習ルールとして出現することを導出し、実験的に観察されたクローンサイズ分布を再現するとともに、適応免疫を計算的学習システムとして再解釈する。

ABSTRACT

The adaptive immune system of vertebrates can detect, respond to, and memorize diverse pathogens from past experience. While the clonal selection of T helper (Th) cells is the simple and established mechanism to better recognize new pathogens, the question that still remains unexplored is how the Th cells can acquire better ways to bias the responses of immune cells for eliminating pathogens more efficiently by translating the recognized antigen information into regulatory signals. In this work, we address this problem by associating the adaptive immune network organized by the Th cells with reinforcement learning (RL). By employing recent advancements of network-based RL, we show that the Th immune network can acquire the association between antigen patterns of and the effective responses to pathogens. Moreover, the clonal selection as well as other inter-cellular interactions are derived as a learning rule of the network. We also demonstrate that the stationary clone-size distribution after learning shares characteristic features with those observed experimentally. Our theoretical framework may contribute to revising and renewing our understanding of adaptive immunity as a learning system.

研究の動機と目的

• 病原体にさらされた後、T便宜細胞が効果的免疫応答をよりうまく偏らせる方法を学ぶ仕組みを理解すること。
• Th細胞が抗原情報とサイトコイニンシグナルを統合して免疫協調を最適化する仕組みを理解するというギャップを埋めること。
• アルゴリズム的および計算的レベルで強化学習の原則を適用することで、適応免疫を学習システムとして再定式化すること。
• クローン選択や細胞間コミュニケーションといった生物学的に妥当な学習ルールを、RLダイナミクスから導出すること。

提案手法

• 状態が抗原パターンを表し、行動がサイトコイニン分泌を表すマルコフ決定過程（MDP）を用いて、Th細胞ネットワークを強化学習問題として形式化する。
• 各細胞が病原体排除の結果から得られる試行錯誤のフィードバックを通じて、最適な応答ポリシーを学ぶことによって、Th細胞集団をネットワーク化されたシステムとしてモデル化する。
• ネットワークベースのディープ強化学習アルゴリズムを用いて、Th細胞集団全体における学習ダイナミクスとポリシー最適化をシミュレートする。
• 報酬信号に基づき、成功したクローンが拡大する仕組みとして、クローン選択のメカニズムをRL更新ルールの結果として導出する。
• 学習後の定常的クローンサイズ分布をシミュレートし、T細胞レパートア研究からの実験データと比較する。
• フレームワークを用いて、サイトコイニンを介した細胞間相互作用のような相互作用が、最適ポリシー学習プロセスの一部として自然に出現することを示す。

実験結果

リサーチクエスチョン

• RQ1 T便宜細胞は、特定の抗原パターンと効果的な効果細胞応答を関連付けることで、病原体排除を改善する学習をどのように行うか？
• RQ2 Th細胞ネットワークを強化学習システムとしてモデル化した場合に、どのような学習ルールが出現するか？
• RQ3 適応免疫のクローン選択メカニズムは、事前に仮定するのではなく、RLダイナミクスの結果として導出可能か？
• RQ4 サイトコイニンシグナルのような細胞間相互作用は、RLフレームワーク内でどのように自然に出現するか？
• RQ5 モデルが予測する定常的クローンサイズ分布は、T細胞レパートアにおける実験的観察と一致するか？

主な発見

• 強化学習フレームワークは、効果的免疫応答からの報酬信号に基づき、成功したTh細胞クローンが拡大するという、出現的学習ルールとしてクローン選択メカニズムをうまく導出できた。
• モデルは、高スループットシーケンシングデータで観察された重い尾を示す不均一なパターンを含む、実験的に観察されたT細胞クローンサイズ分布の主要な特徴を再現した。
• サイトコイニンを介した細胞間コミュニケーションが最適ポリシーの一部として自然に出現し、このような相互作用が任意ではなく、病原体排除を最大化するために学習されることを示した。
• このシステムは、ウイルスに対してキラーT細胞を活性化し、細菌に対してマクロファージを活性化するといった、特定の抗原パターンと適切な効果細胞応答を関連付ける能力を示した。これは機能的特異性を示している。
• 学習後のTh細胞ネットワークの定常状態は、ヒトT細胞レパートアからの実証データと一致するクローンサイズの分布を示した。
• このフレームワークは、計算的、アルゴリズム的、実装的レベルを統合し、適応免疫が学習システムとして機能する仕組みを数学的に根拠のある統一的説明を提供した。