[논문 리뷰] Modern Hopfield Networks for Few- and Zero-Shot Reaction Template Prediction

Philipp Seidl, Philipp Renz외 7명|arXiv (Cornell University)|2021. 04. 07.

Computational Drug Discovery Methods인용 수 7

한 줄 요약

이 논문은 반응 템플릿 예측을 위한 현대 히프리드 네트워크(MHNs)를 제안하며, 분자-템플릿 간 연관성을 학습된 기억 패턴을 통해 모델링함으로써 소수의 예시 및 제로샷 반응 템플릿 예측을 수행한다. 분자와 템플릿을 모두 인코딩하고 히프리드 레이어를 사용해 관련 템플릿을 검색함으로써, USPTO-50k에서 최신 기준(SOTA)의 상위-k 정확 일치 정확도를 달성한다. 특히 훈련 데이터가 극히 적은 희귀 템플릿에 대해서도 성능 향상이 두드러지며, 기존 기준보다 수 배 빠른 속도로 작동한다.

ABSTRACT

Finding synthesis routes for molecules of interest is an essential step in the discovery of new drugs and materials. To find such routes, computer-assisted synthesis planning (CASP) methods are employed which rely on a model of chemical reactivity. In this study, we model single-step retrosynthesis in a template-based approach using modern Hopfield networks (MHNs). We adapt MHNs to associate different modalities, reaction templates and molecules, which allows the model to leverage structural information about reaction templates. This approach significantly improves the performance of template relevance prediction, especially for templates with few or zero training examples. With inference speed several times faster than that of baseline methods, we improve predictive performance for top-k exact match accuracy for $\\mathrm{k}\\geq5$ in the retrosynthesis benchmark USPTO-50k.

연구 동기 및 목표

• 희귀 또는 미사용된 반응 템플릿에 대해 데이터가 적은 경우의 성능 문제를 해결하기 위해.
• 현대 히프리드 네트워크 내에서 분자 및 템플릿 표현을 상호 연관된 기억 패턴으로 모델링하여 템플릿 관련성 예측을 향상시키기 위해.
• 모든 템플릿에 대해 대규모 레이블 데이터를 의존하지 않고도 효과적인 소수의 예시 및 제로샷 학습을 가능하게 하기 위해.
• 특히 k ≥ 5일 때 상위-k 정확 일치 정확도를 크게 향상시키면서도 높은 추론 속도를 유지하는 방법을 개발하기 위해.
• 반응 템플릿과 분자 내 구조적 정보를 공동 인코딩 및 연관적 검색을 통해 활용하는 확장 가능하고 미분 가능한 아키텍처를 제공하기 위해.

제안 방법

• 모델은 분자와 반응 템플릿 각각에 대해 별도의 인코더를 사용하여 잠재 표현으로 매핑한다.
• 현대 히프리드 네트워크 레이어는 인코딩된 분자 표현을 저장된 인코딩된 템플릿 패턴과 매칭함으로써 연관적 검색을 수행한다.
• 히프리드 레이어는 유사도 기반 어텐션 메커니즘을 사용하여 상태 패턴을 갱신하며, 쿼리는 분자 임베딩이고 키는 템플릿 임베딩이다.
• 모델은 분자 템플릿 예측에 대한 교차 엔트로피 손실 또는 정확한 템플릿 연관성의 기대 점수를 최대화하는 새로운 패턴 기반 손실 함수를 사용해 훈련된다.
• 이 아키텍처는 다중 히프리드 레이어를 스택할 수 있으며, backpropagation를 사용해 엔드 투 엔드 최적화가 가능하다.
• 기타 손실 함수로는 InfoNCE가 있으며, 이는 검색된 패턴과 정답 템플릿 간의 유사도를 부정적 템플릿들과 대비시켜 저데이터 환경에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 현대 히프리드 네트워크는 소수의 예시 및 제로샷 반응 템플릿 예측을 위한 분자-템플릿 연관성을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 MHN 기반 방법은 표준 분류 기반 모델 대비 희귀 반응 템플릿에서 어떻게 성능을 내는가?
• RQ3 MHN 내 연관 기억 메커니즘이 광범위한 미세조정 없이도 새로운 템플릿으로의 일반화를 향상시키는가?
• RQ4 교차 엔트로피 대비 패턴 기반 손실 함수를 사용할 경우 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ5 USPTO-50k와 같은 벤치마크 데이터셋에서 높은 추론 속도를 유지하면서도 상위-k 정확 일치 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 MHN 기반 모델은 USPTO-50k 반응 템플릿 예측 벤치마크에서 최신 기준 성능을 달성하며, 특히 k ≥ 5일 때 상위-k 정확 일치 정확도가 크게 향상된다.
• 희귀 템플릿에 대해 기존 기준 모델보다 뚜렷이 뛰어난 성능을 보이며, 소수의 예시 및 제로샷 일반화 능력이 뛰어나다.
• 기존 기준 모델 대비 수 배 빠른 추론 속도를 보이며, 합성 계획 파이프라인 내 효율적 구현이 가능하다.
• 패턴 기반 손실 함수를 사용할 경우 교차 엔트로피 손실과 유사한 성능를 기록하지만, 저데이터 환경에서의 강건성이 향상된다.
• 분자와 템플릿 간 연관 기억을 통해 연결함으로써, 특히 템플릿 당 훈련 데이터가 제한된 경우 더 나은 일반화 능력을 확보한다.
• 반응 템플릿을 별개의 기억 패턴으로 인코딩함으로써 구조적 정보를 효과적으로 활용함으로써 예측 정확도가 향상된다.