[논문 리뷰] OceanGPT: A Large Language Model for Ocean Science Tasks

Zhen Bi, Ningyu Zhang외 5명|arXiv (Cornell University)|2023. 10. 03.

Topic Modeling인용 수 9

한 줄 요약

OceanGPT는 다양한 해양과학 태스크를 수행하도록 훈련된 첫 번째 해양 도메인 LLM으로, 다-agent DoInstruct 데이터 생성 프레임워크와 OceanBench 평가, 그리고 해양 공학 분야의 예비 구현 능력을 소개합니다.

ABSTRACT

Ocean science, which delves into the oceans that are reservoirs of life and biodiversity, is of great significance given that oceans cover over 70% of our planet's surface. Recently, advances in Large Language Models (LLMs) have transformed the paradigm in science. Despite the success in other domains, current LLMs often fall short in catering to the needs of domain experts like oceanographers, and the potential of LLMs for ocean science is under-explored. The intrinsic reasons are the immense and intricate nature of ocean data as well as the necessity for higher granularity and richness in knowledge. To alleviate these issues, we introduce OceanGPT, the first-ever large language model in the ocean domain, which is expert in various ocean science tasks. We also propose OceanGPT, a novel framework to automatically obtain a large volume of ocean domain instruction data, which generates instructions based on multi-agent collaboration. Additionally, we construct the first oceanography benchmark, OceanBench, to evaluate the capabilities of LLMs in the ocean domain. Though comprehensive experiments, OceanGPT not only shows a higher level of knowledge expertise for oceans science tasks but also gains preliminary embodied intelligence capabilities in ocean technology.

연구 동기 및 목표

• 해양 과학 태스크에 특화된 최초의 대형 언어 모델인 OceanGPT를 소개한다.
• 도메인 특화 지시를 자동으로 생성하는 다중 에이전트 프레임워크인 DoInstruct를 제안한다.
• OceanBench를 창설한다, 해양과학에서 LLM을 평가하기 위한 최초의 해양학 벤치마크이다.
• 해양 엔지니어링 작업에서 OceanGPT의 지식 전문성과 예비 구현 지능을 입증한다.

제안 방법

• 오픈 액세스 해양과학 문헌으로부터 얻은 도메인 특화 말뭉치(67,633 문서)로 OceanGPT를 사전 학습한다.
• 확장 가능한 지시 데이터 생성을 위해 세 에이전트 역할(진화하는 생성기, 문헌 추출기, 검사관)로 DoInstruct를 개발한다.
• 해양 데이터를 다섯 주제로 분류한다(과학·연구, 자원·개발, 생태·환경, 기술·공학, 생명/문화/기타).
• 시드 지시 데이터를 사용한 다음 다중 에이전트 협업을 통해 도메인 특화 지시를 150,000건 이상으로 확장한다.
• 사전 학습된 모델에 LoRA로 미세조정하고 OceanBench를 사용한 벤치마크 비교, GPT-4를 이용한 자동 평가, 사람 평가를 통해 기준 모델과 비교 평가한다.

실험 결과

연구 질문

• RQ1 OceanBench 내에서 OceanGPT가 해양과학 태스크에서 기존 오픈 소스 LLM을 능가할 수 있는가?
• RQ2 DoInstruct 다중 에이전트 프레임워크가 고품질의 전문적이고 다양한 해양 도메인 지시를 생성하는가?
• RQ3 OceanGPT가 해양 엔지니어링 작업에서 구현 지능(embodied intelligence) 능력을 어느 정도 보이는가?

주요 결과

• OceanGPT는 OceanBench의 대부분의 태스크에서 기준선들(llama2-chat-7b, vicuna-1.5-7b, chatglm2-6b)을 능가한다.
• 다중 에이전트 협업으로 인해 DoInstruct 프레임워크가 지식의 질, 도메인 전문성, 데이터 다양성을 더 높게 산출한다.
• OceanGPT는 해양과학 태스크에서 더 높은 지식 전문성을 보여주며, 방사성 핵종 연구와 환경 독성학에 대한 자세한 범위를 포함한 지식 전문성을 보여준다.
• OceanGPT는 Gazebo의 코드/콘솔 명령을 사용하여 수중 로봇 시뮬레이션과 상호작용함으로써 예비 구현 지능을 보인다.
• OceanBench 데이터셋은 해양 전문가들에 의해 수동 평가되며 자동 평가 및 인간 평가를 통해 15개의 태스크를 포함하고 모델 강점을 확인한다.