[논문 리뷰] Can LLMs Generate Diverse Molecules? Towards Alignment with Structural Diversity

Hang Jea Jang, Yunhui Jang외 2명|arXiv (Cornell University)|2024. 10. 04.

Chemical Synthesis and AnalysisBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 이전에 생성된 구조를 기반으로 자동으로 구조가 다양하게 설계된 분자를 순차적으로 생성할 수 있도록 하기 위해, 지도 학습 미세조정 이후 강화 학습을 적용하는 이단계 미세조정 방법을 제안한다. 이 방법은 기준 디코딩 기법과 최신의 LLM들보다 분자 다양성과 품질을 크게 향상시키며, 더 높은 다양성 점수와 새로운 분자 성질 프롬프트에 대한 더 나은 성능을 달성한다.

ABSTRACT

Recent advancements in large language models (LLMs) have demonstrated impressive performance in molecular generation, which offers potential to accelerate drug discovery. However, the current LLMs overlook a critical requirement for drug discovery: proposing a diverse set of molecules. This diversity is essential for improving the chances of finding a viable drug, as it provides alternative molecules that may succeed where others fail in real-world validations. Nevertheless, the LLMs often output structurally similar molecules. While decoding schemes like diverse beam search may enhance textual diversity, this often does not align with molecular structural diversity. In response, we propose a new method for fine-tuning molecular generative LLMs to autoregressively generate a set of structurally diverse molecules, where each molecule is generated by conditioning on the previously generated molecules. Our approach consists of two stages: (1) supervised fine-tuning to adapt LLMs to autoregressively generate molecules in a sequence and (2) reinforcement learning to maximize structural diversity within the generated molecules. Our experiments show that the proposed approach enables LLMs to generate diverse molecules better than existing approaches for diverse sequence generation.

연구 동기 및 목표

• 성공적인 약물 발견을 위해 필수적인 구조가 다양한 분자를 생성하는 데 있어 현재 LLM의 핵심적 격차를 해결하기 위해.
• 기존의 디코딩 기법은 텍스트의 다양성은 향상시키지만 분자의 구조적 다양성은 향상시키지 못하는 한계를 극복하기 위해.
• 외부의 다양한 분자 데이터셋에 의존하지 않고도 분자 다양성을 향상시킬 수 있는 자기 향상형 미세조정 프레임워크를 개발하기 위해.
• 이전 출력에 기반해 후속 분자 생성을 조건화하여 LLM 기반 분자 생성의 강건성을 향상시키기 위해.
• 분자 수준의 다양성 보상과 함께 강화 학습을 적용할 경우, 다른 학습 전략에 비해 더 뛰어난 다양성 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 사전 학습된 LLM이 단일 프롬프트에서 여러 분자의 순서를 순차적으로 생성하도록 지도 학습 미세조정을 적용한다.
• 학습 데이터는 LLM 자체에서 반복적 샘플링을 통해 수집되며, 품질과 다양성을 향상시키기 위해 필터링된다.
• 분자 유사도 측정 지표인 Tanimoto 유사도 및 NCircles를 기반으로 보상 함수를 정의하여 강화 학습을 통해 구조적 다양성을 극대화한다.
• 각 분자 생성을 단계로 간주하고 개별 다양성 보상을 부여하는 다단계 강화 학습 설정을 사용한다.
• 외부의 다양한 분자 데이터셋에 의존하지 않고도 자기 생성된 데이터를 사용해 종합적으로 학습한다.
• SMILES 표현 방식을 사용하며, Bertz 복잡도, QED 및 분자 프린트 기반 유사도와 같은 지표를 통해 다양성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 LLM을 미세조정하여 유사한 구조를 반복하는 것이 아니라 다양한 분자 집합을 생성할 수 있는가?
• RQ2 이전에 생성된 분자에 기반해 분자 생성을 조건화하면 구조적 다양성이 향상되는가?
• RQ3 제안된 이단계 미세조정 방법은 비드 서치와 같은 표준 디코딩 기법에 비해 분자 다양성을 어떻게 향상시키는가?
• RQ4 분자 수준의 보상과 함께 강화 학습을 적용하면, 다양성 지표에 하드 필터링을 적용한 지도 학습 미세조정보다 성능이 뛰어나게 되는가?
• RQ5 단일 단계 보상 설정에 비해 다단계 강화 학습 설정이 다양성 향상에 더 효과적인가?

주요 결과

• 제안된 방법은 NCircles 점수 21.98(기준 h=0.65)를 기록하여 기준 방법들보다 유의미하게 높은 구조적 다양성을 달성한다.
• DrugAssist 벤치마크에서, 모든 분자 성질 프롬프트, 특히 새로운 QED 기반 프롬프트에 대해서도 지속적으로 다양성과 품질이 향상된다.
• 155개의 생성된 분자 중에서, 이 방법은 비드 서치(BS=500) 대비 25.6개의 고유하고 다양한 분자를 발견했으며, 이는 21.3개보다 높은 성능을 보였다. 이는 더 뛰어난 확장성 잠재력을 보여준다.
• 비드 서치 대비 80%의 시간 비용 절감(65초 대비 585초)을 기록하면서도 더 다양한 분자를 생성한다.
• 다단계 강화 학습이 단일 단계 RL 및 하드 필터링된 SFT보다 우수한 성능을 보이며, 더 나은 신용 할당 및 다양성 최적화를 가능하게 한다.
• 이 방법은 새로운 프롬프트에 대해서도 높은 성능를 유지하며, 분자 생성의 강력한 일반화 능력과 강건성을 보여준다.