[논문 리뷰] Structured Chemistry Reasoning with Large Language Models

Siru Ouyang, Zhuosheng Zhang외 5명|arXiv (Cornell University)|2023. 11. 16.

Semantic Web and Ontologies인용 수 7

한 줄 요약

이 논문은 복잡한 화학 추론을 위한 대규모 언어 모델(Large Language Models, LLMs)을 향상시키기 위해 공식 생성, 단계별 유도, 신뢰도 기반 개선의 세 단계로 구성된 추론을 분해하는 구조적 프ompting 프레임워크인 StructChem을 소개한다. 이는 GPT-4의 성능을 복잡한 화학 벤치마크에서 최대 30% 향상시키며, 근거 있는 반복적 추론을 통해 추론 및 계산 오류를 크게 감소시킨다.

ABSTRACT

Large Language Models (LLMs) excel in diverse areas, yet struggle with complex scientific reasoning, especially in the field of chemistry. Different from the simple chemistry tasks (e.g., molecule classification) addressed in previous studies, complex chemistry problems require not only vast knowledge and precise calculation, but also compositional reasoning about rich dynamic interactions of different concepts (e.g., temperature changes). Our study shows that even advanced LLMs, like GPT-4, can fail easily in different ways. Interestingly, the errors often stem not from a lack of domain knowledge within the LLMs, but rather from the absence of an effective reasoning structure that guides the LLMs to elicit the right knowledge, incorporate the knowledge in step-by-step reasoning, and iteratively refine results for further improved quality. On this basis, we introduce StructChem, a simple yet effective prompting strategy that offers the desired guidance and substantially boosts the LLMs' chemical reasoning capability. Testing across four chemistry areas -- quantum chemistry, mechanics, physical chemistry, and kinetics -- StructChem substantially enhances GPT-4's performance, with up to 30\% peak improvement. Our analysis also underscores the unique difficulties of precise grounded reasoning in science with LLMs, highlighting a need for more research in this area. Code is available at \url{https://github.com/ozyyshr/StructChem}.

연구 동기 및 목표

• GPT-4와 같은 고급 LLM이 관련 지식을 보유하고 있음에도 불구하고 복잡한 화학 추론 작업에서 지속적으로 실패하는 문제를 해결한다.
• 핵심 문제점이 지식 부족이 아니라 지식 유도 및 단계별 유도를 이끄는 효과적인 추론 구조의 부재에 있음을 규명한다.
• 정확성과 견고성을 향상시키기 위해 과학적 화학 문제 해결에서 LLM의 추론을 세 가지 명확한 단계로 체계화하는 프rompt 전략을 개발한다.
• 구조적 추론이 다중 개념의 동적 상호작용을 포함하는 문제에서 추론 및 계산 오류를 크게 감소시킴을 입증한다.
• GPT-4를 통해 생성된 고품질의 추론 체인을 사용하여 더 작은 LLM을 효과적으로 피팅(fine-tuning)할 수 있도록 하여, 이 프레임워크의 유용성을 대규모 모델을 넘어서 확장한다.

제안 방법

• 세 단계 추론 프레임워크 도입: (1) 공식 생성, (2) 식별된 공식을 사용한 단계별 추론, (3) 중간 결과의 신뢰도 기반 검토 및 개선.
• LLM을 사용해 먼저 필수적인 화학 공식을 생성함으로써 추론의 기반을 마련하여 환상 및 부적절한 내용을 방지한다.
• 각 개선 단계에 대해 신뢰도 점수를 추정함으로써 반복적 개선을 구현하고, 높은 신뢰도의 최종 답변에 점진적으로 도달하도록 한다.
• 순수하게 프롬프트 기반 검증에 의존하는 자가 검증 방법과는 달리, 신뢰도 추정과 반복적 수정을 통합하여 검증에 대한 의존도를 낮춘다.
• SciBench와 같은 벤치마크 데이터셋을 사용하여 양자 화학, 역학, 물리 화학, 속도론 등 네 가지 다양한 화학 하위 분야에 이 메서드를 적용한다.
• GPT-4를 통해 StructChem로 생성된 추론 체인을 사용하여 더 작은 LLMs(Llama-2-13B, Vicuna-13B 등)를 피팅함으로써 이 메서드의 이식 가능성과 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 GPT-4와 같은 고급 LLM이 관련 도메인 지식에 접근할 수 있음에도 불구하고 복잡한 화학 추론 작업에서 실패하는 이유는 무엇인가?
• RQ2 구조적 프롬프팅이 다중 개념, 동적 상호작용을 포함하는 화학 문제 해결에서 LLM의 정확성과 신뢰성 향상에 얼마나 기여하는가?
• RQ3 공식 생성 및 신뢰도 기반 개선을 포함함으로써 표준 체인 오브 쓰로잉(Chain-of-Thought, CoT) 프롬프팅에 비해 추론 품질은 어떻게 향상되는가?
• RQ4 StructChem이 생성한 추론 체인은 더 작은 LLM을 피팅하는 데 효과적으로 전이될 수 있는가?
• RQ5 LLM 기반 화학 추론에서 지배적인 오류 유형은 무엇이며, StructChem은 이를 어떻게 감소시키는가?

주요 결과

• StructChem은 네 가지 화학 하위 분야에서 GPT-4의 추론 오류를 최대 30% 감소시켰으며, 특히 다중 개념을 포함하는 복잡한 문제에서 가장 뚜렷한 개선 효과를 보였다.
• 물리 화학 하위 분야에서 StructChem은 GPT-4의 성능을 최대 30% 절대적 향상시켰으며, 표준 체인 오브 쓰로잉 프롬프팅보다 뚜렷이 뛰어난 성능을 보였다.
• 체인 오브 쓰로잉 프롬프팅이 없더라도 계산 오류는 약 25%의 오류를 차지하며, 추론 단계의 정밀도가 중요함을 시사한다.
• 공식 생성 단계는 매우 효과적이다: 일부 공식은 관련성이 없을 수 있지만, 잘못된 공식은 극히 드물며, 후속 성능에 있어 관련성은 정확성보다 더 중요하다.
• StructChem은 비용 효율적이다. CoT 및 PoT 기준선 대비 토큰 소비가 비례적으로 증가하지 않으면서도 더 높은 정확도를 달성한다.
• Vicuna-13B와 같은 더 작은 LLM을 StructChem이 생성한 추론 체인을 사용해 피팅함으로써 뚜렷한 성능 향상이 이루어졌으며, 이는 메서드의 이식 가능성과 확장성의 증거이다.