[論文レビュー] Exploring Large Language Models as a Source of Common-Sense Knowledge for Robots

Felix Ocker, Jörg Deigmöller+1 more|arXiv (Cornell University)|Oct 19, 2023

Semantic Web and Ontologies被引用数 4

ひとこと要約

この論文は、サービスロボットのための共通知識のソースとしての大規模言語モデル（LLMs）の可能性を調査し、オントロジーの構築を目的として、行動、主体、対象、道具、状態を含む構造化された行動パターンの抽出に焦点を当てる。LLMsは一般化された行動知識の大規模抽出において強力な可能性を示しているが、文脈に特化した正確な知識については依然として信頼性が低い。したがって、ロバストなロボティクス応用の実現には、記号的知識グラフと併用する協調的アプローチが不可欠である。

ABSTRACT

Service robots need common-sense knowledge to help humans in everyday situations as it enables them to understand the context of their actions. However, approaches that use ontologies face a challenge because common-sense knowledge is often implicit, i.e., it is obvious to humans but not explicitly stated. This paper investigates if Large Language Models (LLMs) can fill this gap. Our experiments reveal limited effectiveness in the selective extraction of contextual action knowledge, suggesting that LLMs may not be sufficient on their own. However, the large-scale extraction of general, actionable knowledge shows potential, indicating that LLMs can be a suitable tool for efficiently creating ontologies for robots. This paper shows that the technique used for knowledge extraction can be applied to populate a minimalist ontology, showcasing the potential of LLMs in synergy with formal knowledge representation.

研究の動機と目的

• 大規模言語モデル（LLMs）が、サービスロボットのための実用的な共通知識のソースとして機能できるかどうかを評価すること。
• 道具、対象の状態、空間的関係を含む、構造化された行動パターンの抽出におけるLLMsの有効性を調査すること。
• ロボットの知識表現のためのミニマルなオントロジーをLLMsで構築する可能性を評価すること。
• 従来の知識ベースと比較し、実世界のロボットデプロイメントにおける信頼性のギャップを特定すること。

提案手法

• OWL 2 述語論理を用いて行動パターンを形式化し、行動、主体、対象、道具、前行動状態および後行動状態、空間的関係を含むタプルとして定義する。
• ゼロショットプロンプティング戦略を設計：プロンプト1は特定の抽出を目的とする（例：特定の行動に対する道具の抽出）、プロンプト2はドメインごとに100の行動パターンを大規模に抽出する（例：『キッチン』）。
• 97件の人的アノテーション済み行動パターンからなるグランドトゥースデータセットを用いて、GPT-3.5-turbo、GPT-4、BLOOMZ、BERTといった複数のLLMsを評価する。
• 決定論的出力を得るために温度=0を設定し、信頼性の向上を図るために候補リストを提示する。これはロボットの知覚の根拠付けを模倣するものである。
• 抽出された行動パターンをOWL 2 オントロジーに変換するパイプラインを実装し、記号的AI推論システムへの統合を可能にする。
• F1@nスコアを用いて、さまざまな抽出タスクにおける正確性と再現率を測定し、nは上位n件の順位付け結果を示す。

Figure 1: Architecture for assessing the LLMs and populating an ontology.

実験結果

リサーチクエスチョン

• RQ1 LLMsは、ロボットタスクのための道具や対象の状態といった、行動可能な共通知識を信頼性を持って抽出できるか？
• RQ2 人間がアノテートしたグランドトゥースと比較して、LLMsは完全な行動パターンをどれほど効果的に抽出できるか？
• RQ3 LLMsは、ドメイン固有のオントロジーに適した有効で一般化可能な行動パターンをどれほどスケーラブルに生成できるか？
• RQ4 プロンプティング戦略と候補の根拠づけは、抽出精度を向上させる役割を果たすか？
• RQ5 LLMsで抽出された知識は、ロボット推論システムで使用可能な形式的オントロジーに効果的に統合できるか？

主な発見

• GPT-3.5-turboとGPT-4は、他のモデルと比較して道具抽出において優れた性能を示し、最高のF1@nスコアを記録した。特にGPT-4は、構造化出力の一貫性に優れていた。
• マスク解除技術（demasking）を用いた空間的関係の抽出が最も優れた結果をもたらし、特定の知識タイプがLLMsによる抽出に特に適していることが示唆された。
• 行動前の対象の状態と行動後の状態の抽出が最も不正確であった。これは、LLMsが動的状態変化をモデル化する能力に明確な限界があることを示している。
• 微細な抽出における精度が低くても、『キッチン』ドメインについて100の行動パターンがすべて手動で検証され有効であることが確認された。これはスケーラビリティと一般用途への有用性を示している。
• 温度の変更が性能にほとんど影響しなかった。これは、決定論的推論（温度=0）が知識抽出パイプラインにとって十分に信頼できると確認されたことを意味する。
• 本研究は、LLMsが現在のところロボティクス用途における単独の知識ソースとして信頼できるものではないが、記号的推論と組み合わせることで、初期のオントロジー構築に非常に効果的なスケーラブルなツールであると確認した。

Figure 2: F1@n-scores, with n on the x-axis, for the extraction tasks compared to the ground truth ( $temperature=0$ , candidates provided).