[論文レビュー] Transfer Learning Across Patient Variations with Hidden Parameter Markov Decision Processes

Taylor W. Killian, George Konidaris+1 more|arXiv (Cornell University)|Dec 1, 2016

Machine Learning and Algorithms参考文献 22被引用数 4

ひとこと要約

本論文では、個々の患者の生理的反応のばらつきに対応するため、個人化HIV治療における頑健な転移学習を可能にする、ガウス過程潜在変数モデル（GPLVM）を強化した隠れパラメータマルコフ決定過程（HiP-MDP）を提案する。状態とパラメータの不確実性を統合的にモデル化することで、一様なアプローチや完全に個人化されたベースラインと比較して、より高速かつ正確に個別化された治療方針を学習する。本フレームワークは、患者1人あたりのデータを大幅に削減しながらも、ほぼ最適なパフォーマンスを達成する。

ABSTRACT

Due to physiological variation, patients diagnosed with the same condition may exhibit divergent, but related, responses to the same treatments. Hidden Parameter Markov Decision Processes (HiP-MDPs) tackle this transfer-learning problem by embedding these tasks into a low-dimensional space. However, the original formulation of HiP-MDP had a critical flaw: the embedding uncertainty was modeled independently of the agent's state uncertainty, requiring an unnatural training procedure in which all tasks visited every part of the state space---possible for robots that can be moved to a particular location, impossible for human patients. We update the HiP-MDP framework and extend it to more robustly develop personalized medicine strategies for HIV treatment.

研究の動機と目的

• 治療に対する患者の生理的反応のばらつきに起因する課題に対処すること。これは、医療分野における効果的な転移学習を妨げる要因である。
• 元のHiP-MDPフレームワークにおける根本的な欠陥を克服すること。具体的には、埋め込みの不確実性を状態の不確実性とは独立してモデル化していたため、全状態空間の探索が不可避であった点である。
• ガウス過程を用いた統一された不確実性モデルを構築し、全状態空間のカバレッジがなくても、直接的かつ効率的な患者間の転移を可能にすること。
• 適応的転移を活用して、過去の患者データを活用することで、HIV管理におけるより高速かつデータ効率の良い個別化された治療方針の学習を可能にすること。
• リアルなHIV治療シミュレータを用いて、本手法の有効性を検証し、一様なアプローチおよび完全に個人化されたベースラインと比較して、性能が向上することを示すこと。

提案手法

• HiP-MDPフレームワークを拡張し、ガウス過程潜在変数モデル（GPLVM）を統合することで、潜在パラメータ空間とエージェントの状態の両方の不確実性を統合的にモデル化する。
• タスク全体にわたる遷移ダイナミクス $T(s'|s,a,w_b)$ を近似するためにガウス過程（GP）を用い、現在のタスクのダイナミクス推論と類似した患者間の転移を可能にする。
• 再構成誤差を最小化し、計算コストを削減するため、シミュレーテッド・アニーリングを用いてサポートポイントを選択するスパースGP近似を採用する。
• 合成データをGP近似ダイナミクスから生成し、優先順位付き経験リプレイを用いたダブルディープQネットワークを用いて、オンラインで制御方針を学習する。
• 最も代表的な過去のタスクインスタンスのみを選択することで、適応的転移を実装し、負の転移を回避する。
• 初期段階で統一されたGPモデルを用いて、現在の患者の潜在パラメータ $w_b$ を推論することで、迅速な方針の個別化を実現する。

実験結果

リサーチクエスチョン

• RQ1 状態とパラメータの不確実性を統合的に捉える統一された不確実性モデルは、患者特有の治療計画における転移学習を改善できるか？
• RQ2 全状態空間のカバレッジがなくても、GPLVMを拡張したHiP-MDPは、一様なアプローチや完全に個人化されたベースラインと比較して、より高速かつ正確な方針学習を可能にするか？
• RQ3 わずかな観測数でのみ、モデルは患者特有の生理的ばらつきを効果的に特定・適応できるか？
• RQ4 過去のタスクインスタンスの適応的選択は、負の転移をどれほど効果的に防ぎ、学習効率を向上させられるか？
• RQ5 本フレームワークは、患者1人あたりのデータが最小限の複雑な現実世界の医療分野（例：HIV治療）に一般化可能か？

主な発見

• GPLVMを拡張したHiP-MDPは、HIVシミュレータにおいてほぼ最適な治療方針パフォーマンスを達成し、完全に個人化されたベースラインと同等またはそれを上回る性能を示したが、患者1人あたりのデータ量を大幅に削減した。
• モデルは、訓練の最初の数エピソード内で、2つの異なる患者の生理的クラスを効果的に特定・分離し、迅速な個別化を実現した。
• 不確実性を統合的にモデル化することで、全状態空間の探索を回避し、全カバレッジが不可能な臨床応用においても実用的であることを示した。
• 最も関連性の高い過去のインスタンスのみを選択する適応的転移の活用により、負の転移を防止し、学習効率が向上した。
• 20のタスクインスタンスに対する最適方針の開発プロセス全体が約30分で完了し、スケーラビリティと実用性を示した。
• モデルが提供する不確実性測定値により、潜在空間における分類不能な患者プロファイルに対しても、信頼性のある方針評価が可能になった。