[논문 리뷰] Multi-fidelity Gaussian Process for Biomanufacturing Process Modeling with Small Data

Yuan Sun, Winton Nathan-Roberts외 3명|arXiv (Cornell University)|2022. 11. 26.

Viral Infectious Diseases and Gene Expression in Insects인용 수 4

한 줄 요약

이 논문은 생물제조에서 데이터가 제한된 상황에서 생물공정 모델링을 향상시키기 위해 다중 정밀도 가우시안 프로세스(MFGP) 프레임워크를 제안한다. 저정밀도 실험 데이터(예: 소규모 반응기 또는 다른 세포 라인에서의 데이터)와 고정밀도 데이터를 통합함으로써 MFGP 모델은 계층적 상관관계를 활용하여 예측 정확도를 향상시킨다—특히 소규모 데이터 환경에서 단일 정밀도 및 선형 모델보다 뛰어난 성능을 보인다.

ABSTRACT

In biomanufacturing, developing an accurate model to simulate the complex dynamics of bioprocesses is an important yet challenging task. This is partially due to the uncertainty associated with bioprocesses, high data acquisition cost, and lack of data availability to learn complex relations in bioprocesses. To deal with these challenges, we propose to use a statistical machine learning approach, multi-fidelity Gaussian process, for process modelling in biomanufacturing. Gaussian process regression is a well-established technique based on probability theory which can naturally consider uncertainty in a dataset via Gaussian noise, and multi-fidelity techniques can make use of multiple sources of information with different levels of fidelity, thus suitable for bioprocess modeling with small data. We apply the multi-fidelity Gaussian process to solve two significant problems in biomanufacturing, bioreactor scale-up and knowledge transfer across cell lines, and demonstrate its efficacy on real-world datasets.

연구 동기 및 목표

• 높은 실험 비용과 생물학적 변동성으로 인해 생물공정 모델링에서 데이터가 부족한 문제를 해결하기 위해.
• 대규모 데이터셋이 필요하고 해석이 어려운 전통적인 데이터 기반 모델의 한계를 극복하기 위해.
• 다중 정밀도 학습을 통해 생물반응기 스케일업 및 다양한 세포 라인 간 지식 이행의 예측 정확도를 향상시키기 위해.
• 다양한 정밀도 수준을 가진 이질적인 데이터 소스를 효과적으로 활용하여 모델 일반화 능력을 향상시키는 MFGP의 잠재력을 입증하기 위해.
• 제한된 고정밀도 데이터를 가진 실제 생물제조 데이터셋에서 비선형 및 선형 자기회귀형 MFGP 변종의 성능을 평가하기 위해.

제안 방법

• 다양한 정밀도 수준의 데이터를 사용하여 생물공정 동역학을 모델링하기 위해 다중 정밀도 가우시안 프로세스(MFGP) 회귀를 적용한다.
• 소규모 반응기나 덜 특성화된 세포 라인에서의 데이터를 저정밀도 입력으로 간주하고, 고속도 및 정확도가 높은 데이터를 고정밀도 목표로 간주한다.
• 저정밀도 및 고정밀도 데이터 간의 복잡한 비선형 상관관계를 모델링하기 위해 비선형 자기회귀 구조(NARGP)를 사용하여 선형 대안보다 뛰어난 성능을 발휘한다.
• 비교를 위한 기준선으로 선형 자기회귀 모델(LARGP)을 적용하며, 정밀도 수준 간 선형 관계를 가정한다.
• 가우시안 프로세스 사전분포를 통해 두 정밀도 수준과 그 불확실성을 고려한 공동 가능도 함수를 사용하여 모델을 학습한다.
• 정밀도별 노이즈와 상호 정밀도 상관관계를 균형 있게 조정하기 위해 최대 우도 최적화를 통해 초모수를 최적화한다.

실험 결과

연구 질문

• RQ1 고정밀도 데이터가 부족한 상황에서 MFGP가 생물공정 모델링의 예측 정확도를 효과적으로 향상시킬 수 있는가?
• RQ2 비선형 MFGP(NARGP)의 성능은 선형 MFGP(LARGP) 및 단일 정밀도 모델보다 생물반응기 스케일업 과제에서 어떻게 다를까?
• RQ3 한 세포 라인(저정밀도)에서의 지식을 다른 세포 라인(고정밀도)으로 이행하는 데 MFGP가 어느 정도의 영향을 미칠 수 있는가?
• RQ4 고정밀도 학습 포인트의 수가 MFGP 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ5 생물제조 애플리케이션에서 MFGP가 기존의 데이터 기반 또는 기계기반 모델보다 우수한 성능을 발휘하는 상황는 어떤 경우인가?

주요 결과

• NARGP 모델은 모든 테스트된 모델 중에서 가장 낮은 RMSE를 기록하여 정밀도 수준 간 비선형 상관관계를 포착할 수 있는 능력 덕분에 뛰어난 성능을 보였다.
• GP-Low 모델은 다른 모델들보다 유의미하게 열등한 성능을 보였으며, 이는 시스템 동역학의 상당한 차이로 인해 저정밀도 데이터만으로는 정확한 예측이 불가능하다는 것을 시사한다.
• LARGP 및 GP-Cat 모델은 GP-High 모델에 비해 열등한 성능을 보였으며, 이는 스케일업 과제에서 저정밀도와 고정밀도 데이터 간의 상관관계가 비선형임을 시사한다.
• 모든 모델의 성능은 고정밀도 학습 데이터가 많아질수록 향상되었지만, NARGP 모델은 소규모 데이터에서 가장 뚜렷한 성능 향상을 보였으며, 이는 데이터 효율성이 뛰어남을 나타낸다.
• 생물반응기 스케일업 과제에서는 LARGP 모델이 NARGP 모델보다 더 나은 성능을 보였으며, 이는 비선형 모델이 효과적으로 학습할 수 있을 정도로 데이터 상관관계가 너무 노이즈가 많다는 것을 시사한다.
• 세포 라인 간 지식 이행 과제에서는 NARGP 모델이 모든 기준선을 압도하며, 이는 세포 라인 간 관계가 비선형이며 비선형 MFGP가 이를 더 잘 포착할 수 있음을 확인한다.