[논문 리뷰] Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective

Jiatong Li, Yunqing Liu외 5명|arXiv (Cornell University)|2023. 06. 11.

Machine Learning in Materials Science참고 문헌 40인용 수 22

한 줄 요약

MolReGPT은 검색 기반 프롬프트와 ChatGPT의 맥락 학습을 사용하여 분자와 자연어 간 번역을 수행하고, MolT5-base를 미세조정 없이도 주요 작업에서 이겨 분자 발견을 돕습니다.

ABSTRACT

Molecule discovery plays a crucial role in various scientific fields, advancing the design of tailored materials and drugs. However, most of the existing methods heavily rely on domain experts, require excessive computational cost, or suffer from sub-optimal performance. On the other hand, Large Language Models (LLMs), like ChatGPT, have shown remarkable performance in various cross-modal tasks due to their powerful capabilities in natural language understanding, generalization, and in-context learning (ICL), which provides unprecedented opportunities to advance molecule discovery. Despite several previous works trying to apply LLMs in this task, the lack of domain-specific corpus and difficulties in training specialized LLMs still remain challenges. In this work, we propose a novel LLM-based framework (MolReGPT) for molecule-caption translation, where an In-Context Few-Shot Molecule Learning paradigm is introduced to empower molecule discovery with LLMs like ChatGPT to perform their in-context learning capability without domain-specific pre-training and fine-tuning. MolReGPT leverages the principle of molecular similarity to retrieve similar molecules and their text descriptions from a local database to enable LLMs to learn the task knowledge from context examples. We evaluate the effectiveness of MolReGPT on molecule-caption translation, including molecule understanding and text-based molecule generation. Experimental results show that compared to fine-tuned models, MolReGPT outperforms MolT5-base and is comparable to MolT5-large without additional training. To the best of our knowledge, MolReGPT is the first work to leverage LLMs via in-context learning in molecule-caption translation for advancing molecule discovery. Our work expands the scope of LLM applications, as well as providing a new paradigm for molecule discovery and design.

연구 동기 및 목표

• 재료 및 약물 설계를 돕기 위한 분자와 자연어 간의 번역을 통해 효율적인 분자 발견을 자극한다.
• 검색 기반 프롬 prompts를 활용하여 LLM의 의존도를 줄이고 도메인 전문가의 필요성과 비용이 큰 미세조정 의존도를 감소시킨다.
• 로컬 데이터베이스에서 검색된 도메인 관련 예시로 LLM 출력을 구체화한다.
• Mol2Cap 및 Cap2Mol 작업에서 미세조정된 baselines보다 LLM(ChatGPT)이 우수하다는 것을 보여준다.
• 매개변수 업데이트 없이 프롬프트가 교차 모달 분자 이해를 안내할 수 있다는 runnable 프레임워크와 증거를 제공한다.]
• method_1_placeholder

제안 방법

• MolReGPT를 네 가지 단계 프레임워크로 제안한다: Molecule-Caption Retrieval, Prompt Management, In-Context Few-Shot Molecule Learning, Generation Calibration.
• 댈 구조적으로 유사한 분자를 지면으로 삼기 위해 Morgan Fingerprints와 Dice 유사도를 사용한다.
• Cap2Mol 작업에 대해 의미적으로 유사한 캡션을 찾기 위해 BM25 기반 캡션 검색을 사용한다.
• 미세조정 없이 ChatGPT를 안내하기 위해 검색된 예제로 시스템 프롬프트를 구성한다.
• 정해진 JSON 출력 형식을 강제하고 필요 시 형식을 정정하거나 재질의를 위해 생성 보정(genration calibration)을 적용한다

실험 결과

연구 질문

• RQ1 검색 보강 맥락 학습이 미세조정 없이 ChatGPT가 Mol2Cap 캡션 생성 및 텍스트 기반 분자 생성(Cap2Mol)을 수행하게 할 수 있는가?
• RQ2 Morgan Fingerprints 기반 분자 검색과 BM25 기반 캡션 검색이 LLM-기반 분자-캡션 번역 성능을 향상시키는가?
• RQ3 MolReGPT가 Mol2Cap 및 Cap2Mol 작업에서 미세조정된 baselines(예: MolT5-base)와 비교해 어떤 차이가 있는가?
• RQ4 검색된 예시 수(n-shot)가 번역 품질에 어떤 영향을 미치는가?

주요 결과

• MolReGPT은 10-shot PROMPTS에서 Mol2Cap Text2Mol 점수 0.560을 달성하여 미세조정 없이 MolT5-base를 능가한다.
• MolReGPT은 10-shot PROMPTS에서 Cap2Mol Text2Mol 점수 0.571을 달성하고, MolT5(미세조정 없음) 대비 Text2Mol을 약 3% 증가시킨다.
• Mol2Cap에서 GPT-3.5-turbo는 10-shot MolReGPT와 함께 여러 지표(BLEU, ROUGE, METEOR)에서 미세조정 baselines에 맞먹거나 이를 상회한다.
• Cap2Mol에서 MolReGPT은 10-shot 프롬프트로 경쟁력 있는 BLEU 및 EM 점수와 Baselines보다 높은 Morgan FTS 및 Text2Mol 지표를 제공한다.
• 전반적으로 MolReGPT은 보고된 하위 작업들에서 미세조정 없이 미세조정 MolT5-base보다 우수한 성능을 보인다.