[논문 리뷰] Language agents achieve superhuman synthesis of scientific knowledge

Michael Skarlinski, Sam Cox외 7명|arXiv (Cornell University)|2024. 09. 10.

Language and cultural evolution인용 수 37

한 줄 요약

PaperQA2는 최첨단 언어모델 에이전트로서 문헌 검색 및 요약 과제에서 박사급 인간 수준에 필적하거나 이를 능가하며, LitQA2에서 타 시스템보다 우수하고 ContraCrow 및 WikiCrow 평가를 통해 대규모 모순 탐지를 가능하게 한다.

ABSTRACT

Language models are known to hallucinate incorrect information, and it is unclear if they are sufficiently accurate and reliable for use in scientific research. We developed a rigorous human-AI comparison methodology to evaluate language model agents on real-world literature search tasks covering information retrieval, summarization, and contradiction detection tasks. We show that PaperQA2, a frontier language model agent optimized for improved factuality, matches or exceeds subject matter expert performance on three realistic literature research tasks without any restrictions on humans (i.e., full access to internet, search tools, and time). PaperQA2 writes cited, Wikipedia-style summaries of scientific topics that are significantly more accurate than existing, human-written Wikipedia articles. We also introduce a hard benchmark for scientific literature research called LitQA2 that guided design of PaperQA2, leading to it exceeding human performance. Finally, we apply PaperQA2 to identify contradictions within the scientific literature, an important scientific task that is challenging for humans. PaperQA2 identifies 2.34 +/- 1.99 contradictions per paper in a random subset of biology papers, of which 70% are validated by human experts. These results demonstrate that language model agents are now capable of exceeding domain experts across meaningful tasks on scientific literature.

연구 동기 및 목표

• 과학 문헌 탐색과 합성에 대한 신뢰할 수하고 사실에 기반한 AI 사용을 촉진한다.
• 검색, 요약, 모순 탐지 작업에 걸친 엄밀한 인간-AI 비교 프레임워크를 개발하고 검증한다.
• 모델 및 시스템 설계를 안내하기 위해 데이터셋(LitQA2, ContraDetect)을 만들고 벤치마크한다.
• 생물학 문헌의 사실성을 높이고 모순을 감지하는 확장 가능한 도구(WikiCrow, ContraCrow)를 시연한다.

제안 방법

• PaperQA2를 개발한다, 다단계 도구세트(Paper Search, Gather Evidence, Generate Answer, Citation Traversal)를 갖춘 검색 증강 생성 에이전트.
• 맥락 요약(RCS)과 증거의 상위-k 랭크로 응답을 뒷받침하여 관련성과 사실성을 높인다.
• 비초록적(non-abstract) 증거에 초점을 둔 248개의 다지선다형 검색 질문으로 LitQA2를 만들고, 출처 매칭을 위해 DOI를 사용한다.
• PaperQA2를 인간 전문가 및 다른 시스템과 LitQA2 지표(정밀도, 정확도, 재현율)로 비교한다.
• WikiCrow를 엔지니어링하여 위키피디아 스타일의 유전자 기사를 생성하고 인간 위키피디아 기사와의 사실성을 평가한다.
• ContraCrow를 구축하여 주장 추출 및 문헌과의 대조를 통한 모순 탐지 프롬프트 및 리커트 척도 점수로 평가한다.

Figure 1: A . Schematic of PaperQA2’s agentic toolset along with relevant action representations within each tool. B. PaperQA2 performance across question answering, cited article summarization, and contradiction detection. Error bars represent standard error.

실험 결과

연구 질문

• RQ1 언어모델 에이전트가 실제 과학 문헌 검색 작업에서 인간 수준 또는 초인간 수준의 성능을 달성할 수 있는가?
• RQ2 검색-증강 생성 에이전트가 요약 작업에서 인간이 작성한 과학 요약과 비교해 어떤 성능을 보이는가?
• RQ3 AI 시스템이 대규모로 과학 문헌의 모순을 체계적으로 식별할 수 있는가, 그리고 그 결과는 전문가 평가와 어떻게 비교되는가?
• RQ4 어떤 설계 선택(RCS, 인용 traversal, 맥락 깊이)이 사실성 및 검색 정확도에 가장 큰 영향을 미치는가?
• RQ5 생물학 문헌에서 AI가 도출한 모순은 인간 판단과 어떻게 비교되는가?

주요 결과

• PaperQA2는 LitQA2에서 정밀도 85.2%, 정확도 66.0%를 달성하여 정밀도 면에서 인간 주석 기준치를 능가하고 인간 정확도에 근접했다.
• 인간은 LitQA2에서 정밀도 73.8%, 정확도 67.7%를 달성했고, PaperQA2는 통계적으로 인간의 정밀도를 초과했으며(p=0.0036), 정확도에는 통계적으로 차이가 없다(p=0.66).
• 깊은 맥락 요약(RCS)과 인용 추적은 LitQA2 단계 전반에서 검색 정확도와 DOI 재호출을 크게 향상시킨다.
• WikiCrow는 240개의 유전자 기사를 생성하며 미인용 비율이 위키피디아의 13.6%보다 낮은 3.5%이고, 정밀도는 위키피디아의 71.2%보다 높은 86.1%이며, 평균 길이가 더 길다.
• ContraCrow는 생물학 논문당 평균 2.34 ± 1.99개의 모순을 탐지하고(n=93), 평가된 모논의의 70%가 인간 전문가에 의해 검증되었다.
• ContraDetect 기반 평가에서 ROC AUC는 0.842이고, 모순 탐지 임계값 8에서 88%의 정밀도를 보인다.

Figure 2: A. Example LitQA2 question, PaperQA2 answer, and metadata. B. PaperQA2 performance on LitQA2 across technologies. C. PaperQA2 performance studies and ablations across component categories. Error bars are 95% CI. D. Aggregated LitQA2 DOI recall per PaperQA2 stage. Search Recall includes DOI