[논문 리뷰] Harnessing the Power of Adversarial Prompting and Large Language Models for Robust Hypothesis Generation in Astronomy

Ioana Ciucă, Yuan-Sen Ting외 2명|arXiv (Cornell University)|2023. 06. 20.

Computational and Text Analysis MethodsSocial Sciences인용 수 3

한 줄 요약

이 연구는 GPT-4를 사용한 적대적 인라인 프롬프팅과 나사 ADS에서 수집한 1,000편의 은하 천문학 논문 코퍼스를 보완함으로써 천문학 분야에서 가설 생성 품질을 크게 향상시킨다. 인공지능이 가설을 반복적으로 검토함으로써 아이디어를 정교화함으로써, 이 방법은 기존 프롬프팅 기반 접근 방식과 비교해도 뛰어나며 전문가 수준의 통찰력을 낼 수 있는 혁신적이고 맥락 기반의 과학적 제안을 도출한다.

ABSTRACT

This study investigates the application of Large Language Models (LLMs), specifically GPT-4, within Astronomy. We employ in-context prompting, supplying the model with up to 1000 papers from the NASA Astrophysics Data System, to explore the extent to which performance can be improved by immersing the model in domain-specific literature. Our findings point towards a substantial boost in hypothesis generation when using in-context prompting, a benefit that is further accentuated by adversarial prompting. We illustrate how adversarial prompting empowers GPT-4 to extract essential details from a vast knowledge base to produce meaningful hypotheses, signaling an innovative step towards employing LLMs for scientific research in Astronomy.

연구 동기 및 목표

• 대규모 언어 모델를 사용하여 은하 천문학 분야의 도메인 특화 문헌을 활용한 인라인 프롬프팅이 가설 생성 품질에 미치는 영향을 조사하는 것.
• 두 번째 LLM이 가설을 반복적으로 비판하고 개선하는 적대적 프롬프팅이 생성된 과학적 아이디어의 품질과 혁신성에 미치는 영향을 평가하는 것.
• 모델 재학습이 필요 없이 광범위하고 관련성이 높은 맥락을 제공하는 저비용 프롬프팅 기법이 파인튜닝를 능가할 수 있는지 평가하는 것.
• LLM이 방대한 과학 문헌에서 암묵적인 지식을 추출하고 통합하여 비틀림이 없고 다학제적 연구 제안을 생성할 수 있음을 입증하는 것.
• 오픈소스 도구와 공개된 데이터를 활용해 천문학 분야에서 과학적 가설 생성을 위한 재현 가능하고 접근 가능한 프레임워크를 구축하는 것.

제안 방법

• 이 방법은 GPT-4에 나사 ADS에서 확보한 최대 1,000편의 최근 동료 심사 통과된 은하 천문학 논문을 맥락으로 제공함으로써 인라인 프롬프팅을 구현한다.
• 수집된 논문의 텍스트 조각을 임베딩하고 유사도 검색 및 맥락 압축을 통해 필터링하여 잡음 제거 및 관련성 유지한다.
• 세 단계로 구성된 적대적 프롬프팅 파이프라인을 사용한다: (1) GPT-4가 가설을 생성하고, (2) 두 번째 GPT-4 모델이 이를 비판하고, (3) 세 번째 GPT-4 모델이 피드백을 조율하여 출력을 정교화한다.
• 이 과정은 반복적으로 수행되며(nF 반복), 각 사이클이 가설의 통일성, 깊이, 과학적 관련성 향상에 기여한다.
• 이 방법은 리트리ieval 증강 생성(RAG) 워크플로우를 관리하기 위해 Langchain을 활용하여 동적 맥락 검색 및 통합을 가능하게 한다.
• 최종 가설과 비판은 인간 전문가가 표준화된 평가 프레임워크를 사용해 품질, 독창성, 과학적 타당성 측면에서 평가한다.

Figure 1: This figure illustrates the adversarial in-context prompting workflow using OpenAI’s GPT-4 model. The procedure begins with the pre-processing and embedding of Galactic Astronomy papers. A similarity search is conducted on the embedded query, and relevant document chunks are retrieved. A f

실험 결과

연구 질문

• RQ1 1,000편의 도메인 특화 천문학 논문 코퍼스를 활용한 인라인 프롬프팅이 GPT-4의 가설 생성 품질을 상당히 향상시킬 수 있는가?
• RQ2 두 번째 LLM이 반복적으로 비판하고 개선하는 적대적 프롬프팅 방식이 생성된 아이디어의 혁신성과 과학적 엄밀도에 얼마나 기여하는가?
• RQ3 천문학 분야에서 천연 프롬프팅과 맥락 기반 강화 프롬프팅 간의 LLM 성능은 어떻게 비교되는가?
• RQ4 학습 데이터가 제한된 과학 분야에 적용할 때 LLM의 환상적 오류 위험을 적대적 프롬프팅이 보완할 수 있는가?
• RQ5 AI가 생성한 가설이 독창성과 실행 가능성 측면에서 전문가가 제안한 과학적 제안과 얼마나 유사한 수준에 도달하는가?

주요 결과

• 1,000편의 천문학 논문을 활용한 적대적 인라인 프롬프팅은 가설 품질을 상당히 향상시켰으며, 인간 전문가가 최종 출력을 전문가 수준의 과학적 제안과 유사하게 평가했다.
• 반복적인 적대적 정교화 과정(nF 반복)을 통해 생성된 가설의 일관성과 과학적 깊이가 뚜렷하게 향상되었다.
• 적대적 프롬프팅이 없이 GPT-4가 생성한 가설은 종종 조각나 있거나 사실상 중복되며 기존 문헌의 단순 재구성에 머물러 원형적인 통찰을 제공하지 못했다.
• 적대적 GPT-4 모델이 생성한 비판은 전문가 리뷰어 수준의 정확도를 보였으며, 특히 방법론적 약점과 논리적 빈도를 식별하는 데 뛰어났다.
• 이 방법은 LLM이 은하 천문학의 다양한 하위 분야(예: 항성 운동학, 은하 진화, 화학 조성) 간의 암묵적 지식을 통합하여 다학제적 연구 아이디어를 생성할 수 있음을 입증했다.
• 이 연구는 맥락 기반 강화 프롬프팅이 자원이 제한된 환경에서 파인튜닝을 능가할 수 있음을 확인했으며, 과학적 AI 응용 분야에서 확장 가능하고 저비용의 대안을 제공한다.

Figure 2: Adversarial prompting and domain-specific context enrichment significantly enhance hypothesis generation quality. 60 hypotheses and 40 critiques generated by the AI were evaluated by two human experts, with the mean scores reported for individual instances. The iterations of adversarial pr