[논문 리뷰] Probabilistic Transformer: Modelling Ambiguities and Distributions for RNA Folding and Molecule Design

Jörg K. H. Franke, Frederic Runge외 1명|arXiv (Cornell University)|2022. 05. 27.

RNA and protein synthesis mechanisms인용 수 4

한 줄 요약

이 논문은 조건부 변동 자동인코더 원리를 통합하여 데이터의 모호성과 불확실성을 모델링하는 계층적 잠재 분포 향상 기법인 Probabilistic Transformer를 소개한다. 이는 RNA 접힘에서 최고 성능을 기록하며, 기존 방법보다 복잡한 데이터 분포를 암묵적으로 학습함으로써 성질 기반 분자의 생성에서도 슈퍼리미엄 성능을 달성한다.

ABSTRACT

Our world is ambiguous and this is reflected in the data we use to train our algorithms. This is particularly true when we try to model natural processes where collected data is affected by noisy measurements and differences in measurement techniques. Sometimes, the process itself is ambiguous, such as in the case of RNA folding, where the same nucleotide sequence can fold into different structures. This suggests that a predictive model should have similar probabilistic characteristics to match the data it models. Therefore, we propose a hierarchical latent distribution to enhance one of the most successful deep learning models, the Transformer, to accommodate ambiguities and data distributions. We show the benefits of our approach (1) on a synthetic task that captures the ability to learn a hidden data distribution, (2) with state-of-the-art results in RNA folding that reveal advantages on highly ambiguous data, and (3) demonstrating its generative capabilities on property-based molecule design by implicitly learning the underlying distributions and outperforming existing work.

연구 동기 및 목표

• RNA 이차 구조나 분자의 성질과 같은 모호하거나 노이즈가 많거나 다중 모드인 생물학적 데이터를 다룰 때 결정론적 트랜스포머의 한계를 해결하기 위해.
• 소프트맥스 출력 확률을 넘어서 불확실성을 표현할 수 있도록 트랜스포머의 잠재 공간에서 확률적 추론을 가능하게 하기 위해.
• 계층적 변동 추론을 통한 기저 데이터 분포 학습을 통해 순차적 데이터 작업의 생성 모델링을 향상시키기 위해.
• 실제 생물학적 데이터를 사용한 분류적(예: RNA 접힘) 및 생성적(예: 분자 설계) 설정에서 모델의 효과성을 입증하기 위해.

제안 방법

• 트랜스포머의 어텐션 및 피드포워드 블록 뒤에 삽입된 새로운 확률적 레이어를 도입하여 계층적 잠재 분포 모델링을 가능하게 한다.
• 계층적 U-Net에서 영감을 얻은 계층적 구조를 가진 조건부 변동 자동인코더(cVAE) 프레임워크를 사용하여 다중 수준의 불확실성 표현을 가능하게 한다.
• 제약 조건이 있는 최적화를 통한 일반화된 증거 하한 경계(ELBO)를 사용하여 학습하며, 개선된 변동 추론을 위한 온라인 하이퍼파rameter 안내 기법을 통합한다.
• 추론 중에 잠재 공간에서 샘플링을 수행하여 계산 그래프 내에서 샘플된 벡터의 정밀 조정을 가능하게 하여 복잡한 분포를 모델링한다.
• 자기 어텐션을 통해 전역 수신 필드를 유지하면서도 기존 트랜스포머 구성요소 및 학습 파ip라인과 호환성을 유지한다.
• 표준 트랜스포머와 동일한 잔차 연결 및 레이어 정규화 기법을 적용하여 아키텍처의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 트랜스포머 아키텍처 내 계층적 잠재 분포가 순차적 데이터에서 복잡하고 다중 모드인 데이터 분포를 효과적으로 학습하고 복원할 수 있는가?
• RQ2 데이터에 내재된 구조적 모호성과 측정 노이즈가 존재할 경우, Probabilistic Transformer는 RNA 접힘 작업에서 어떻게 성능을 발휘하는가?
• RQ3 이러한 분자의 기저 분포를 암묵적으로 학습함으로써, 모델은 다수의 원하는 화학적 성질을 가진 분자를 얼마나 잘 생성할 수 있는가?
• RQ4 표준 트랜스포머와 비교했을 때, 확률적 잠재 공간의 통합이 모호하거나 노이즈가 많은 생물학적 데이터에서 일반화 및 내성 강도를 향상시키는가?
• RQ5 GECO에 적용된 제안된 온라인 하이퍼파rameter 안내 기법이 변동 자동인코더 설정에서 학습 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• Probabilistic Transformer는 특히 표준 트랜스포머가 어려움을 겪는 고도로 모호한 데이터셋에서 RNA 접힘 벤치마크에서 최고 성능을 기록한다.
• 합성 순차적 분포 작업에서 모델은 기저의 다중 모드 데이터 분포를 성공적으로 학습하고 복원하여, 분포 모델링 능력을 입증한다.
• 성질 기반 분자 생성 작업에서, MolGPT보다 훨씬 더 많은 고유한 분자를 목표 성질(예: TPSA, LogP, SAS)을 충족시키는 방식으로 생성하며, 단일 목표 세트에서 최대 430.8개의 고유한 분자를 생성한다.
• 예시 예측를 통해 다양한 목표 성질 조합에서 다양하고 화학적으로 타당한 분자를 높은 성질 정확도로 생성함을 확인할 수 있다.
• 절단 실험 결과, 확률적 레이어가 성능 향상에 기여하며, 제안된 카파 안내 기법이 학습 안정성과 ELBO 최적화를 향상시킴을 확인한다.
• 모델은 분류적 및 생성적 설정 모두에서 뛰어난 성능을 기록하여, 불확실성 모델링과 다양한 고품질 출력 생성이라는 이중 기능을 확인한다.