[논문 리뷰] Abductive Reasoning with the GPT-4 Language Model: Case studies from criminal investigation, medical practice, scientific research

Remo Pareschi|arXiv (Cornell University)|2023. 07. 17.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 의료 진단, 형사 수사, 천문학 분야에서 GPT-4의 추론 능력을 상호작용 인터뷰 프레임워크를 통해 평가한다. 모델이 불완전한 데이터에서 유추 가능한 가설을 생성하고 개선할 수 있음을 입증하며, 복잡한 분야에서 실제 문제 해결 과제에 대해 높은 신뢰성 있는 추론 능력을 보여준다.

ABSTRACT

This study evaluates the GPT-4 Large Language Model's abductive reasoning in complex fields like medical diagnostics, criminology, and cosmology. Using an interactive interview format, the AI assistant demonstrated reliability in generating and selecting hypotheses. It inferred plausible medical diagnoses based on patient data and provided potential causes and explanations in criminology and cosmology. The results highlight the potential of LLMs in complex problem-solving and the need for further research to maximize their practical applications.

연구 동기 및 목표

• 의료, 형사 수사, 과학 연구와 같은 고위험 분야에서 GPT-4의 추론 능력이 얼마나 효과적인지 평가하는 것.
• 대규모 언어 모델이 불완전하거나 모호한 정보에서 유추 가능한 설명을 어떻게 생성하고 개선할 수 있는지 탐구하는 것.
• GPT-4의 가설 생성이 실제 문제 해결 상황에서 얼마나 신뢰성 있고 일관된지 평가하는 것.
• 복잡하고 불확실한 환경에서 전문가의 의사결정 지원에 LLM이 실질적으로 어떤 잠재력을 지니고 있는지 탐색하는 것.
• 구조화된 상호작용 형식을 통해 GPT-4의 추론 능력을 입증하는 사례 연구를 제공하는 것.

제안 방법

• 사례에 맞는 데이터를 바탕으로 GPT-4가 가설을 생성하고 반복적으로 개선하도록 유도하는 상호작용 인터뷰 형식을 활용.
• 의료(환자 증상 분석), 형사 수사(형사 증거 해석), 천문학(우주적 이면 현상 설명)과 같은 세 가지 다른 분야에 모델를 적용.
• 유추 가능성과 증거 기반으로 가설 생성, 평가, 선정을 유도하기 위해 구조화된 프롬프트를 사용.
• 논리적 일관성, 관련성, 진단 또는 설명의 정확도를 평가하기 위해 모델이 생성한 대화를 수집하고 분석.
• 가설 품질과 도메인 전문 추론 패턴과의 일치도를 분석하여 모델 성능을 정성적으로 평가.
• 실제 사례 데이터를 포함하여 실질적인 추론 과제에 충실하도록 보장.

실험 결과

연구 질문

• RQ1 GPT-4는 불완전한 환자 데이터에서 임상적 추론 패턴과 일치하는 타당하고 증거 기반의 진단을 생성할 수 있는가?
• RQ2 GPT-4는 모호한 형사 증거가 있는 형사 수사 사례에서 잠재적 원인과 설명을 얼마나 효과적으로 유추할 수 있는가?
• RQ3 제한적 또는 간접적인 관측 데이터가 있는 천문학 분야에서 GPT-4는 얼마나 잘 추론할 수 있는가?
• RQ4 상호작용 인터뷰 형식은 GPT-4의 추론 출력 품질과 일관성에 어떤 영향을 미치는가?
• RQ5 다양하고 고복잡도의 도메인에서 GPT-4의 가설 생성 및 선정 능력의 한계와 신뢰성 패턴은 무엇인가?

주요 결과

• GPT-4는 환자 증상 기반 기반으로 임상적 추론 패턴과 일치하는 타당한 의료 진단을 강력하게 생성하는 능력을 보였다.
• 형사 수사 사례에서는 모델가 조각난 형사 증거를 바탕으로 사건의 원인을 성공적으로 제안하고 개선하였다.
• 천문학적 이면 현상에 대해서는 현재 과학적 이해와 추론 틀을 반영한 검증 가능한 가설을 생성하였다.
• 상호작용 인터뷰 형식은 단일 턴 프롬프트에 비해 가설 생성의 일관성과 관련성을 크게 향상시켰다.
• 가용 증거를 바탕으로 다수의 후보 가설 중 가장 타당한 것을 선택하는 데서 GPT-4는 일관된 신뢰성을 보였다.
• 사례 연구 대화를 통해 GPT-4가 새로운 또는 명확해진 정보에 대응해 추론을 반복적으로 개선할 수 있음을 확인하였다.