[논문 리뷰] Fast differentiable DNA and protein sequence optimization for molecular design

Johannes Linder, Georg Seelig|arXiv (Cornell University)|2020. 05. 22.

RNA and protein synthesis mechanisms참고 문헌 42인용 수 17

한 줄 요약

이 논문은 DNA 및 단백질 서열 설계를 위한 미분 가능 최적화 방법인 Fast SeqProp을 소개한다. 이 방법은 일직선 경로 기반 기울기 근사에서 핵산 로짓을 정규화하고 적응형 엔트로피를 사용함으로써 수렴 속도와 적합도 최적값을 향상시킨다. 기존 활성화 최대화 방법 대비 최대 100배 빠른 수렴 속도를 달성하면서도 다양한 생물학적 과제, 예를 들어 엔ハン서, 5'UTR, 단백질 구조 설계에서 더 높은 적합도를 가진 서열을 생성한다.

ABSTRACT

Designing DNA and protein sequences with improved function has the potential to greatly accelerate synthetic biology. Machine learning models that accurately predict biological fitness from sequence are becoming a powerful tool for molecular design. Activation maximization offers a simple design strategy for differentiable models: one-hot coded sequences are first approximated by a continuous representation which is then iteratively optimized with respect to the predictor oracle by gradient ascent. While elegant, this method suffers from vanishing gradients and may cause predictor pathologies leading to poor convergence. Here, we build on a previously proposed straight-through approximation method to optimize through discrete sequence samples. By normalizing nucleotide logits across positions and introducing an adaptive entropy variable, we remove bottlenecks arising from overly large or skewed sampling parameters. The resulting algorithm, which we call Fast SeqProp, achieves up to 100-fold faster convergence compared to previous versions of activation maximization and finds improved fitness optima for many applications. We demonstrate Fast SeqProp by designing DNA and protein sequences for six deep learning predictors, including a protein structure predictor.

연구 동기 및 목표

• 기존 이산 생물학적 서열을 위한 활성화 최대화 방법에서 느린 수렴과 열 劣한 적합도 최적값 문제를 해결하기 위해.
• 이산 샘플을 통한 기울기 흐름을 향상시켜 미분 가능 서열 최적화에서 기울기 소실 및 예측자 병리 문제를 극복하기 위해.
• 별도의 생성 모델을 훈련할 필요 없이 모델 및 파라미터에 종속되지 않는 방법을 개발하여 소규모 서열 세트의 빠른 설계를 가능하게 하기 위해.
• VAE 기반 사전 분포 및 불확실성 인식 예측자와 같은 정규화 기법을 통합하여 생물학적으로 타당한 설계를 가능하게 하기 위해.
• 히우리스틱 방법(예: 시뮬레이티드 어닐링)과 현대적 생성 모델 기반 접근법을 모두 능가하는 서열 설계 품질과 효율성 확보를 위해.

제안 방법

• Fast SeqProp은 일직선 경로 기반 기울기 근사를 사용하여 이산 서열 샘플을 최적화함으로써, 원-핫 인코딩된 서열을 통한 역전파를 가능하게 한다.
• 서열 위치 간 핵산 로짓을 정규화하여 훈련 안정성 향상과 편향된 샘플링 분포 방지를 도모한다.
• 적응형 엔트로피 변수를 도입하여 샘플링 온도를 동적으로 조정함으로써 과도하게 확신 있는 또는 정보가 없는 토큰 예측을 방지한다.
• 원-핫 서열의 연속적 리 릴랙스를 기반으로 기울기 상승을 수행하면서도 최종 서열 생성에 이산 샘플링을 유지한다.
• 확률적 예측자 모델에서 정규화를 통해 VAE 사전 분포 및 불확실성 추정을 지원함으로써 설계 신뢰도와 생물학적 관련성을 유지한다.
• 재훈련이나 보조 생성 모델이 필요 없이 사전 훈련된 미분 가능 예측자에 직접 적용된다.

실험 결과

연구 질문

• RQ1 기존 활성화 최대화 접근법에 비해 더 빠른 수렴 속도를 달성할 수 있는 미분 가능 서열 최적화 방법이 존재하는가?
• RQ2 로짓 정규화와 적응형 엔트로피 도입이 최적화된 서열의 품질 향상과 기울기 병리 방지에 기여하는가?
• RQ3 Fast SeqProp이 히우리스틱 검색 방법과 현대적 생성 모델 기반 접근법을 모두 능가할 수 있는가?
• RQ4 Fast SeqProp이 얼마나 잘 정규화 및 불확실성 추정을 통합하여 생물학적으로 타당한 서열을 생성할 수 있는가?
• RQ5 Fast SeqProp은 DNA 조절 요소와 단백질 구조를 포함한 다양한 생물학적 서열 설계 과제에서 효과적인가?

주요 결과

• Fast SeqProp은 DNA 및 단백질 서열 설계 과제에서 기존 활성화 최대화 방법 대비 최대 100배 빠른 수렴 속도를 달성한다.
• 여섯 가지의 다른 설계 과제에서 기준 활성화 최대화 및 기타 최적화 기준 대비 유의미하게 높은 예측 적합도를 가진 서열을 발견한다.
• Fast SeqProp은 시뮬레이티드 어닐링과 같은 글로벌 검색 히우리스틱 및 CbAS, FB-GAN, FB-VAE와 같은 샘플링 기반 방법보다도 설계의 속도와 적합도 측면에서 뛰어나다.
• 최적화에 참여하지 않은 오라클 모델을 통한 독립적 검증을 통해 Fast SeqProp이 생성한 서열의 높은 적합도가 확인되었으며, 이는 강건성과 일반화 능력을 입증한다.
• Fast SeqProp은 功能성 DNA 요소(엔핸서, 5'UTR, 폴리A 신호)와 예측된 구조 및 기능 향상된 단백질 서열을 성공적으로 설계하였다.
• VAE 사전 분포 및 불확실성 인식 예측자를 정규화를 통해 통합함으로써 설계의 신뢰도와 생물학적 타당성을 향상시켰지만, 적합도는 손상시키지 않았다.