[論文レビュー] Harnessing the Power of Adversarial Prompting and Large Language Models for Robust Hypothesis Generation in Astronomy

Ioana Ciucă, Yuan-Sen Ting+2 more|arXiv (Cornell University)|Jun 20, 2023

Computational and Text Analysis MethodsSocial Sciences被引用数 3

ひとこと要約

本研究では、GPT-4を用いた敵対的文脈内プロンプティングと、NASA ADSから収集された1,000篇の銀河天文学論文のコーパスを組み合わせることで、天文学分野における仮説生成の質が顕著に向上することを示している。AIによる批判を通じて段階的にアイデアを精錬する手法により、革新的で文脈に根ざした科学的提案が得られ、ベースラインプロンプティングを上回り、専門家レベルの知見と同等の水準に達している。

ABSTRACT

This study investigates the application of Large Language Models (LLMs), specifically GPT-4, within Astronomy. We employ in-context prompting, supplying the model with up to 1000 papers from the NASA Astrophysics Data System, to explore the extent to which performance can be improved by immersing the model in domain-specific literature. Our findings point towards a substantial boost in hypothesis generation when using in-context prompting, a benefit that is further accentuated by adversarial prompting. We illustrate how adversarial prompting empowers GPT-4 to extract essential details from a vast knowledge base to produce meaningful hypotheses, signaling an innovative step towards employing LLMs for scientific research in Astronomy.

研究の動機と目的

• 大規模言語モデルを用いた天文学分野における仮説生成の質が、分野特化型の文献を用いた文脈内プロンプティングによって向上するかどうかを調査すること。
• 2つの言語モデルが交互に仮説を批判・精錬する敵対的プロンプティングが、生成された科学的アイデアの質と革新性に与える影響を評価すること。
• モデルの微調整を必要とせず、大量で関連性の高い文脈を提供するだけで、低コストのプロンプティング手法が微調整を上回る性能を発揮するかどうかを評価すること。
• 大規模言語モデルが膨大な科学的文献から暗黙の知識を抽出・統合し、非自明で多様な分野にまたがる研究提案を生成できることを示すこと。
• オープンソースツールと公開データを用いて、再現可能でアクセス可能な天文学分野の科学的仮説生成フレームワークを確立すること。

提案手法

• 本手法は、GPT-4にNASA ADSから取得した最大1,000篇の最新で査読済みの銀河天文学論文を文脈として入力することで、文脈内プロンプティングを実施する。
• 取得した論文のテキストチャンクを埋め込み表現に変換し、類似度検索と文脈圧縮を用いてノイズを除去し、関連性を保持する。
• 3段階の敵対的プロンプティングパイプラインを採用する：(1) GPT-4が仮説を生成し、(2) 第2のGPT-4がその仮説を批判し、(3) 第3のGPT-4がフィードバックを調整して出力を精錬する。
• このプロセスを繰り返し（nF反復）、各サイクルで仮説の整合性、深さ、科学的関連性が向上する。
• 動的文脈取得と統合を可能にするために、Langchainを活用してリtrieval-augmented generation（RAG）ワークフローを管理する。
• 人間の専門家が、品質、独自性、科学的妥当性の観点から標準化された評価フレームワークを用いて、最終的な仮説と批判を評価する。

Figure 1: This figure illustrates the adversarial in-context prompting workflow using OpenAI’s GPT-4 model. The procedure begins with the pre-processing and embedding of Galactic Astronomy papers. A similarity search is conducted on the embedded query, and relevant document chunks are retrieved. A f

実験結果

リサーチクエスチョン

• RQ1 1,000篇の天文学論文から構成される分野特化型コーパスを用いた文脈内プロンプティングが、GPT-4の仮説生成の質を顕著に向上させるか？
• RQ2 2番目の言語モデルが仮説を段階的に批判・精錬する敵対的プロンプティングが、生成されたアイデアの革新性と科学的厳密性をどの程度向上させるか？
• RQ3 天文学分野におけるナーブプロンプティングと文脈を豊かにしたプロンプティングの間で、言語モデルの仮説生成性能にどのような差が生じるか？
• RQ4 訓練データが限られた科学的分野において、LLMに内在する幻覚リスクを、敵対的プロンプティングが補填できるか？
• RQ5 AIが生成する仮説が、独自性と実現可能性の観点から、専門家が提示する科学的提案とどの程度同等の水準に達するか？

主な発見

• 1,000篇の天文学論文を用いた敵対的文脈内プロンプティングにより、仮説の質が顕著に向上し、人間の専門家が最終出力を専門家レベルの科学的提案と同等と評価した。
• 反復的敵対的精錬プロセス（nF反復）により、生成された仮説の整合性と科学的深さが著しく向上した。
• 敵対的プロンプティングを実施しない場合、GPT-4が生成した仮説はしばしば断片的で、事実の重複や既存文献の単なる言い換えにとどまり、独自の洞察を欠いていた。
• 敵対的GPT-4が生成した批判は、特に手法的欠陥や論理的ギャップの特定において、専門家のレビュアーと同等の質を示した。
• 本手法により、大規模言語モデルが天文学の多様な分野（例：星の運動学、銀河進化、元素比）の暗黙の知識を統合し、多様な分野にまたがる研究アイデアを生成できることを示した。
• 本研究は、リソース制約下において文脈豊富なプロンプティングが微調整を凌駕できることを確認し、科学的AIアプリケーションにスケーラブルで低コストな代替手段を提供した。

Figure 2: Adversarial prompting and domain-specific context enrichment significantly enhance hypothesis generation quality. 60 hypotheses and 40 critiques generated by the AI were evaluated by two human experts, with the mean scores reported for individual instances. The iterations of adversarial pr