[논문 리뷰] C5T5: Controllable Generation of Organic Molecules with Transformers

Daniel Rothchild, Alex Tamkin외 3명|arXiv (Cornell University)|2021. 08. 23.

Molecular Junctions and Nanostructures참고 문헌 35인용 수 17

한 줄 요약

C5T5는 IUPAC 이름을 자연어로 간주하여, 쌍이 없는 편집 데이터가 없이도 화학적으로 직관적인 선택-대체 편집을 통해 약물 설계 분야의 전문가가 분자의 물리적 성질을 최적화할 수 있도록 하는 자기지도형, 트랜스포머 기반의 제로샷, 제어 가능한 유기 분자 생성 방법을 제안한다. 이는 이산화된 성질 값에 조건을 두고 목표 조각을 마스킹하여 보충하는 방식으로 해석 가능하고 성질을 중심으로 한 분자 수정을 실현하며, 화학적으로 타당하고 직관적인 전략을 사용해 네 가지 약물 관련 물리적 성질을 최적화하는 데 성공한다.

ABSTRACT

Methods for designing organic materials with desired properties have high potential impact across fields such as medicine, renewable energy, petrochemical engineering, and agriculture. However, using generative modeling to design substances with desired properties is difficult because candidate compounds must satisfy multiple constraints, including synthetic accessibility and other metrics that are intuitive to domain experts but challenging to quantify. We propose C5T5, a novel self-supervised pretraining method that enables transformers to make zero-shot select-and-replace edits, altering organic substances towards desired property values. C5T5 operates on IUPAC names -- a standardized molecular representation that intuitively encodes rich structural information for organic chemists but that has been largely ignored by the ML community. Our technique requires no edited molecule pairs to train and only a rough estimate of molecular properties, and it has the potential to model long-range dependencies and symmetric molecular structures more easily than graph-based methods. C5T5 also provides a powerful interface to domain experts: it grants users fine-grained control over the generative process by selecting and replacing IUPAC name fragments, which enables experts to leverage their intuitions about structure-activity relationships. We demonstrate C5T5's effectiveness on four physical properties relevant for drug discovery, showing that it learns successful and chemically intuitive strategies for altering molecules towards desired property values.

연구 동기 및 목표

• 약물 발견에서 원하는 물리적 성질을 가진 유기 분자를 설계하는 데 있어 광범위한 화학적 공간과 전문가의 직관이 활용되지 않는 문제를 해결하기 위해.
• 기존의 SMILES나 분자 그래프와 같은 원자 기반 표현에 의존하는 생성 모델의 한계를 극복하기 위해, 화학자에게 직관적인 구조를 갖추지 못한 점을 해결하기 위해.
• 쌍이 없는 편집 데이터나 원하는 변환의 명시적 예시 없이도 세밀한 사용자 지향 분자 최적화를 가능하게 하는 방법을 개발하기 위해.
• 화학자들이 구조-활성 관계를 인지하는 정서적 모델과 일치하는 인간-중심 인터페이스를 제공하기 위해, IUPAC 이름 조작을 통해.
• 자기지도형 보완 학습과 거친 성질 조건을 기반으로 훈련함으로써, 추론 시 원하는 목표 성질 값에 따라 제로샷 성질 중심 편집을 가능하게 하기 위해.

제안 방법

• C5T5는 화학자에게 직관적인 방식으로 작용기와 분자 대칭성을 포함하는 의미적으로 풍부한 표준 표현 방식인 IUPAC 이름을 사용하여 유기 분자를 표현한다.
• 모델은 자기지도형 보완 목적을 가진 조건부 T5 기반 트랜스포머 아키텍처를 사용하며, IUPAC 이름의 마스킹된 토큰을 분자의 이산화된 성질 값에 조건을 두고 예측한다.
• 훈련 중에 모델은 목표 분자 성질의 이산화된 버킷(예: logP, 용해도 등)을 IUPAC 이름 앞에 붙여 조건으로 사용한다.
• 추론 중에는 사용자가 교체할 조각을 선택하고, 시멘트 토큰으로 마스킹한 후, 원하는 성질 버킷(예: <high>는 logP 증가)에 조건을 두어 모델이 새로운 조각을 생성하도록 유도한다.
• 이 방법은 제로샷 편집을 지원한다: 쌍이 없는 편집 예시가 필요 없으며, 모델은 쌍이 없는 분자와 성질 추정치에 기반한 자기지도형 사전 훈련을 통해 일반화한다.
• 인터페이스를 통해 도메인 전문가들은 화학적 직관에 기반해 반복적으로 분자를 개선할 수 있으며, 모델은 화학적으로 타당하고 성질 중심의 대체 조각을 생성한다.

실험 결과

연구 질문

• RQ1 IUPAC 이름에 기반한 자기지도형 언어 모델링 접근법이, 쌍이 없는 편집 데이터나 예시 없이도 제로샷, 제어 가능한 분자 편집을 가능하게 할 수 있는가?
• RQ2 오직 거친 성질 추정치와 마스킹된 조각에 조건을 두었을 때, 트랜스포머 모델이 화학적으로 직관적이고 타당한 분자 수정을 얼마나 잘 학습할 수 있는가?
• RQ3 SMILES나 그래프 기반 표현 방식과 비교했을 때, IUPAC 이름을 표현 방식으로 사용함으로써 해석 가능성과 전문가의 직관과의 일치도가 얼마나 향상되는가?
• RQ4 특정 전략에 대한 명시적 감독 없이도, 모델이 알려진 구조-활성 관계(예: logP 증가를 위해 친지질 사슬 추가)를 발견하고 적용할 수 있는가?
• RQ5 이 방법은 logP, 용해도, 융점 등 약물 발견에 관련된 여러 물리적 성질의 원하는 변화를 가지는 분자를 얼마나 효과적으로 생성할 수 있는가?

주요 결과

• C5T5는 화학적으로 직관적인 수정을 학습하여 분자의 올리포일-물 분리 계수(logP)를 증가 또는 감소시키는 데 성공한다. 예를 들어, 수용성 작용기를 장쇄 알리파틱 사슬로 교체하여 친지질성을 높이는 방식이다.
• 입력 IUPAC 이름이 대칭성을 표현할 경우(예: 'bis' 또는 'diol' 그룹), 모델은 대칭 분자를 생성하여 구조 패턴을 유지하거나 확장하는 능력을 보인다.
• 대칭 스케일드를 가진 분자에 대해 C5T5는 유효하고 대칭적인 출력을 생성한다(예: 대칭 다이올에서 'ol'을 'sulfinic acid'로 교체), 이는 구조적 복잡성에 대한 강건성을 보여준다.
• 모델은 알려진 화학 원칙과 일치하는 수정을 제안한다: 예를 들어, logP를 높이기 위해 친지질 조각을 추가하고, 낮추기 위해 수용성 작용기를 추가한다. 이는 훈련 데이터에 이러한 사례가 없었음에도 불구하고 성립한다.
• 성공에도 불구하고 모델은 종종 불안정한 화합물을 생성하기도 한다(예: 산화가 일어날 수 있는 인접한 NH2 기능). 이는 전문가의 검토가 루프 내에서 필요하다는 점을 시사한다.
• 선택-대체 인터페이스를 통해 세밀한 전문가 지도 최적화가 가능하며, 이는 블랙박스 생성 방식에 대한 실용적인 대안을 제공한다.