[論文レビュー] OceanGPT: A Large Language Model for Ocean Science Tasks

Zhen Bi, Ningyu Zhang+5 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用数 9

ひとこと要約

OceanGPTは、多様な海洋科学タスクを実行するよう訓練された初の海洋ドメインLLMであり、マルチエージェントのDoInstructデータ生成フレームワークとOceanBench評価、さらには海洋工学分野での初期的な具象能力を備えて紹介される。

ABSTRACT

Ocean science, which delves into the oceans that are reservoirs of life and biodiversity, is of great significance given that oceans cover over 70% of our planet's surface. Recently, advances in Large Language Models (LLMs) have transformed the paradigm in science. Despite the success in other domains, current LLMs often fall short in catering to the needs of domain experts like oceanographers, and the potential of LLMs for ocean science is under-explored. The intrinsic reasons are the immense and intricate nature of ocean data as well as the necessity for higher granularity and richness in knowledge. To alleviate these issues, we introduce OceanGPT, the first-ever large language model in the ocean domain, which is expert in various ocean science tasks. We also propose OceanGPT, a novel framework to automatically obtain a large volume of ocean domain instruction data, which generates instructions based on multi-agent collaboration. Additionally, we construct the first oceanography benchmark, OceanBench, to evaluate the capabilities of LLMs in the ocean domain. Though comprehensive experiments, OceanGPT not only shows a higher level of knowledge expertise for oceans science tasks but also gains preliminary embodied intelligence capabilities in ocean technology.

研究の動機と目的

• OceanGPTを、海洋科学タスクに特化した初の大型言語モデルとして紹介する。
• DoInstruct、ドメイン特化型指示を自動生成するマルチエージェントフレームワークを提案する。
• OceanBenchを、海洋科学におけるLLM評価の初の海洋学ベンチマークとして創出する。
• OceanGPTの知識専門性と海洋工学タスクにおける初期的具象インテリジェンスを実証する。

提案手法

• 海洋科学文献のオープンアクセス資料（67,633件）からドメイン特化コーパスでOceanGPTを事前訓練する。
• スケーラブルな指示データ生成のため、三つのエージョン役割（生成者の進化、文献抽出者、検査官）を備えるDoInstructを開発する。
• データを五つのトピック（Science & research、Resources & development、Ecology & environment、Technology & engineering、Life/culture/others）に分類する。
• シード指示データを用い、マルチエージェント協働を通じて海洋分野の指示を15万件超に拡張する。
• 事前訓練モデルをLoRAでファインチューニングし、OceanBench、GPT-4による自動評価、人的評価を用いてベースラインと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 OceanGPTはOceanBench上で既存のオープンソースLLMを海洋科学タスクで上回ることができるか？
• RQ2 DoInstructマルチエージェントフレームワークは高品質で専門的かつ多様な海洋ドメイン指示を生み出せるか？
• RQ3 OceanGPTは海洋工学タスク（例：ロボット制御）における具象インテリジェンス能力をどの程度発揮するか？

主な発見

• OceanGPTはOceanBenchの多くのタスクでベースライン（llama2-chat-7b、vicuna-1.5-7b、chatglm2-6b）を上回る。
• DoInstructフレームワークは、マルチエージェント協働により知識品質、ドメイン知識、データ多様性を高める。
• OceanGPTは放射性核種研究と環境毒性学を含む海洋科学タスクにおいて知識専門性が高いことを示す。
• OceanGPTはGazeboのコード/コンソールコマンドを用いた水中ロボットシミュレーションとの対話を通じて、初期的な具象インテリジェンスを示す。
• OceanBenchデータセットは海洋の専門家によって手動評価され、15タスクを含み、自動評価と人間評価の両方でモデルの強みが確認されている。