[論文レビュー] Multi-fidelity Gaussian Process for Biomanufacturing Process Modeling with Small Data

Yuan Sun, Winton Nathan-Roberts+3 more|arXiv (Cornell University)|Nov 26, 2022

Viral Infectious Diseases and Gene Expression in Insects被引用数 4

ひとこと要約

本稿では、限られたデータを前提としたバイオプロセスモデリングの精度を向上させるために、マルチフィidelityガウス過程（MFGP）フレームワークを提案する。低精度の実験データ（例えば、小スケールのバイオリアクター、または異なるセルラインからのもの）と高精度のデータを統合することで、階層的な相関関係を活用し、予測精度を向上させる。特に、小データ環境下でも、単一フィidelityモデルや線形モデルに比べ優れた性能を示す。

ABSTRACT

In biomanufacturing, developing an accurate model to simulate the complex dynamics of bioprocesses is an important yet challenging task. This is partially due to the uncertainty associated with bioprocesses, high data acquisition cost, and lack of data availability to learn complex relations in bioprocesses. To deal with these challenges, we propose to use a statistical machine learning approach, multi-fidelity Gaussian process, for process modelling in biomanufacturing. Gaussian process regression is a well-established technique based on probability theory which can naturally consider uncertainty in a dataset via Gaussian noise, and multi-fidelity techniques can make use of multiple sources of information with different levels of fidelity, thus suitable for bioprocess modeling with small data. We apply the multi-fidelity Gaussian process to solve two significant problems in biomanufacturing, bioreactor scale-up and knowledge transfer across cell lines, and demonstrate its efficacy on real-world datasets.

研究の動機と目的

• 高コストな実験と生物学的ばらつきのため、バイオプロセスモデリングにおける小データ問題に対処すること。
• 大規模なデータセットを必要とし、解釈可能性に欠ける従来のデータ駆動型モデルの限界を克服すること。
• マルチフィidelity学習を活用して、バイオリアクターのスケールアップおよびセルライン間の知識移転における予測精度を向上させること。
• 異なったフィidelityレベルを有する多様なデータソースを効果的に活用することで、モデルの一般化性能を向上させることの有効性を示すこと。
• 限られた高精度データを前提とした実世界のバイオマニュファクチャリングデータセットにおいて、非線形および線形の自己回帰型MFGPバージョンの性能を評価すること。

提案手法

• 複数のフィidelityレベルからのデータを用いてバイオプロセスダイナミクスをモデリングするため、マルチフィidelityガウス過程（MFGP）回帰を採用する。
• 小スケールのバイオリアクターや未充分に特徴づけられていないセルラインからのデータを低精度入力とし、高スループットで正確なデータを高精度のターゲットとみなす。
• 低精度と高精度データ間の複雑な非線形相関をモデル化するため、非線形自己回帰構造（NARGP）を用いる。これは線形代替手法を上回る性能を示す。
• 比較のためのベースラインとして、フィidelityレベル間の線形関係を仮定する線形自己回帰モデル（LARGP）を適用する。
• ガウス過程の事前分布を用いて両フィidelityレベルとその不確実性を考慮した、統合尤度関数を用いてモデルを訓練する。
• 尤度関数の最適化により、フィidelity固有のノイズとフィidelity間相関をバランスさせるハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 高精度データが限られる状況下でも、MFGPが予測精度を著しく向上させることができるか？
• RQ2 バイオプロセススケールアップタスクにおいて、非線形MFGP（NARGP）は線形MFGP（LARGP）および単一フィidelityモデルに比べてどの程度優れているか？
• RQ3 あるセルライン（低精度）からの知識を、別のセルライン（高精度）にMFGPを用いてどの程度効果的に移転できるか？
• RQ4 高精度トレーニングポイントの数が、MFGPモデルの予測性能に与える影響はどの程度か？
• RQ5 どのような状況下で、MFGPは従来のデータ駆動型モデルや機械的モデルを上回るか？

主な発見

• NARGPモデルは、全テストモデルの中で最小のRMSEを達成し、フィidelityレベル間の非線形相関を捉える能力のおかげで、優れた性能を示した。
• GP-Lowモデルは他のモデルと比べ顕著に性能が低く、システムダイナミクスの差が顕著であるため、低精度データのみでは正確な予測が困難であることが示された。
• LARGPとGP-CatモデルはGP-Highに劣っており、スケールアップタスクにおける低精度と高精度データ間の相関が非線形であることが裏付けられた。
• すべてのモデルの性能は、高精度トレーニングデータが増えるにつれて向上したが、NARGPモデルは特に小データ環境下で最も顕著な向上を示し、データ効率性の高さが裏付けられた。
• バイオリアクターのスケールアップにおいては、LARGPモデルがNARGPより優れた性能を示した。これは、データ相関がノイズが多く、非線形モデルが効果的に学習できない状況であることを示唆している。
• セルライン間の知識移転タスクにおいては、NARGPモデルがすべてのベースラインを上回った。これは、セルライン間の関係が非線形であり、非線形MFGPがより適切に捉えていることを確認した。