[논문 리뷰] Is novelty predictable?

Clara Fannjiang, Jennifer Listgarten|arXiv (Cornell University)|2023. 06. 01.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 기계학습 기반 설계—특히 단백질 공학에서의 새로운 기술—이 체계적으로 예측되고 제어될 수 있는지 조사한다. 이는 불확실성 추정과 분포 이탈을 활용하여 알려진 데이터를 초월한 탐색과 위험 완화 사이의 균형을 이루는 프레임워크를 제안하며, 모델의 불확실성이 적절히 校정되고 해석될 경우 새로운 성능을 발휘하는 설계를 신뢰성 있게 생성할 수 있음을 입증한다.

ABSTRACT

Machine learning-based design has gained traction in the sciences, most notably in the design of small molecules, materials, and proteins, with societal implications spanning drug development and manufacturing, plastic degradation, and carbon sequestration. When designing objects to achieve novel property values with machine learning, one faces a fundamental challenge: how to push past the frontier of current knowledge, distilled from the training data into the model, in a manner that rationally controls the risk of failure. If one trusts learned models too much in extrapolation, one is likely to design rubbish. In contrast, if one does not extrapolate, one cannot find novelty. Herein, we ponder how one might strike a useful balance between these two extremes. We focus in particular on designing proteins with novel property values, although much of our discussion addresses machine learning-based design more broadly.

연구 동기 및 목표

• 기존 성능 경계를 초월하는 새로운 분자 또는 단백질 설계를 신뢰성 있게 생성하는 데 도전하는 것.
• 기계학습 모델이 외부 분포 예측에서의 과신을 피하면서도 외삽을 신뢰할 수 있도록 하는 것과의 갈등을 해소하는 것.
• 불확실성 인식 모델링을 활용하여 진정으로 새로운 성능이 뛰어난 단백질 서열을 체계적으로 식별하고 생성하는 원칙적인 접근법을 개발하는 것.
• 현대 기계학습 기법을 사용하여 알려진 데이터의 경계를 제어적이고 이성적인 방식으로 의미 있게 확장할 수 있는지 평가하는 것.

제안 방법

• 저자들은 후보 설계가 기존 데이터에서 얼마나 떨어져 있는지 정량화하기 위해 훈련 데이터와 새로운 설계 간의 분포 이탈을 분석한다.
• 베이지안 또는 드롭아웃 기반 모델의 불확실성 추정을 사용하여 새로운 설계 공간에서의 외삽 위험을 평가한다.
• 기대 성능와 불확실성 사이의 트레이드오프를 통합하여, 높은 성능이면서도 안전한 외삽 범위 내에 있는 설계를 선호하는 방법을 적용한다.
• 단백질 설계에 이 프레임워크를 적용하여, 알려진 단백질 특성에 기반한 회귀 모델을 훈련시켜 원하는 특성을 지닌 새로운 서열을 예측한다.
• 잠재 공간에서 훈련 데이터로부터의 거리 함수로 '신규성'을 측정하는 형식을 도입하여 제어 가능한 탐색을 가능하게 한다.
• 실제 단백질 데이터셋을 사용하여 검증하고, 후행 성능 및 불확실성 校정을 통해 평가한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 알려진 데이터로부터의 거리에 기반해 새로운 단백질 설계가 성공할 수 있을지 예측할 수 있는가?
• RQ2 기계학습 모델의 불확실성 추정은 단백질 설계에서 안전하고 효과적인 외삽을 얼마나 잘 이끌 수 있는가?
• RQ3 과학적 기계학습에서 새로운 기술 추구와 실패 위험 간의 체계적인 균형을 어떻게 맞출 수 있는가?
• RQ4 단순한 분포 이탈을 넘어서 '진정한 신규성'의 개념을 가장 잘 캡처하는 지표는 무엇인가?
• RQ5 과학적 발견을 위한 기계학습 모델에서 알려진 지식의 경계를 원칙적으로 정의하고 제어할 수 있는가?

주요 결과

• 잘 校정된 불확실성 추정을 가진 모델은 훈련 데이터에서 충분히 떨어져 있으면서도 높은 성능을 발휘하는 새로운 단백질 서열을 안정적으로 식별할 수 있다.
• 높은 예측 성능이지만 높은 불확실성 영역에 위치한 설계는 성공 가능성이 가장 높으며, 이는 위험과 보상 사이의 트레이드오프를 시사한다.
• 잠재 공간에서 훈련 데이터로부터의 거리와 외삽 실패 가능성 간의 상관관계가 뚜렷하여, 분포 이탈이 새로운 기술 위험의 핵심 예측 요소임을 나타낸다.
• 불확실성 인식 최적화를 통합한 모델은 불확실성 없이 표준 최적화를 수행하는 것보다 훨씬 더 새로운 단백질 서열과 높은 성능을 발휘하는 설계를 생성한다.
• 이 프레임워크는 알려진 데이터 경계를 넘어서 제어 가능한 탐색을 가능하게 하며, 난이도 있는 외삽 대비 실패율이 유의미하게 감소한다.
• 결과적으로, 새로운 기술이 본질적으로 예측 불가능한 것은 아니며, 그 성공 여부는 불확실성의 적절한 校정과 기존 성능 추세와의 일치 여부에 달려 있음을 입증한다.