[논문 리뷰] Ontological grounding for sound and natural robot explanations via large language models

Alberto Olivares‐Alarcos, Muhammad Ahsan외 3명|arXiv (Cornell University)|2026. 02. 14.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

이 논문은 계통학적 온톨로지–LLM 프레임워크를 제안하여 데이터를 온톨로지에 근거시키고, 대조적 서사를 검색하며, LLM으로 이를 다듬어 의미적으로 grounded되고 간결하며 자연스러운 로봇 설명을 생성합니다. 실험은 실험실 SSD 검사 시나리오에서 접근법을 검증하여 설명의 간결성과 명확성을 향상시키면서 의미상의 정확성과 사용자 피드백에 대한 적응성을 유지합니다.

ABSTRACT

Building effective human-robot interaction requires robots to derive conclusions from their experiences that are both logically sound and communicated in ways aligned with human expectations. This paper presents a hybrid framework that blends ontology-based reasoning with large language models (LLMs) to produce semantically grounded and natural robot explanations. Ontologies ensure logical consistency and domain grounding, while LLMs provide fluent, context-aware and adaptive language generation. The proposed method grounds data from human-robot experiences, enabling robots to reason about whether events are typical or atypical based on their properties. We integrate a state-of-the-art algorithm for retrieving and constructing static contrastive ontology-based narratives with an LLM agent that uses them to produce concise, clear, interactive explanations. The approach is validated through a laboratory study replicating an industrial collaborative task. Empirical results show significant improvements in the clarity and brevity of ontology-based narratives while preserving their semantic accuracy. Initial evaluations further demonstrate the system's ability to adapt explanations to user feedback. Overall, this work highlights the potential of ontology-LLM integration to advance explainable agency, and promote more transparent human-robot collaboration.

연구 동기 및 목표

• 계획 특성(비용, 소요 시간, 작업 수)을 추출하여 로봇 경험을 의미론적 근거로 삼고 grounding합니다.
• 추출된 지식을 온톨로지 기반의 순간 기억에 저장하여 계획 비교 및 분류를 가능하게 합니다.
• 두 계획을 대조하는 온톨로지 서사를 검색하고 의미적 일관성을 보장합니다.
• 검색된 온톨로지 콘텐츠를 간결하고 명확한 설명으로 변환하기 위해 LLM 에이전트를 사용합니다.
• 상호 작용 중 피드백에 따른 설명의 적응성을 입증합니다.

제안 방법

• 협력 로봇–인간 경험으로부터 계획 특성 추출(비용, 소요 시간, 작업 수).
• 온톨로지 기반의 에피소딕 메모리에 지식 추론 및 저장하여 계획 비교 및 일반적/비정형 분류를 grounding합니다.
• 계획 특성을 일반적 또는 비정형으로 분류하기 위해 경험적 HDI(Highest Density Interval)를 계산하고 이를 OWL 2 DL 온톨로지에 grounding합니다.
• 계획 쌍에 대해 시간 색인화된 지식 그래프에서 ACXON을 사용하여 대조적 온톨로지 서사를 검색합니다.
• 간결함, 명료성 및 의미적 일관성을 보장하기 위해 시스템 프롬프트와 사용자 프롬프트를 포함한 LLM 에이전트로 최종 설명을 생성합니다.
• 추가 프롬프트를 통한 설명의 인터랙티브한 다듬기를 가능하게 합니다(예: 더 짧은 버전으로).

실험 결과

연구 질문

• RQ1 로봇이 경험에서 반복되는 패턴을 모델링하고 이를 비교하는 건전하고 자연스러운 설명을 생성할 수 있을까요?
• RQ2 온톨로지에 기반한 서사를 LLM이 효과적으로 생성하고 다듬어 설명 품질을 향상시키되 의미 정확성을 포기하지 않을 수 있을까요?
• RQ3 통합된 프레임워크가 사용자 피드백에 기반한 설명의 인터랙티브한 적응을 지원합니까?

주요 결과

• 프레임워크는 바탕 서사 방식에 비해 의미적으로 정확하고 간결한 온톨로지 기반 서사를 제공합니다.
• 설명의 간결성과 명확성이 향상되면서 근본적인 의미는 유지됩니다.
• 시스템은 사용자 요청에 따라 설명을 더 짧게 만드는 등의 인터랙티브한 조정을 지원합니다.
• 실험실 SSD 검사 작업에서 온톨로지의 근거화와 신뢰할 수 있는 서사 검색을 통해 설명의 근거를 효과적으로 확인합니다.
• 쌍별 계획 서사 검색은 다중 계획으로 확장되어 포괄적 대조 설명을 가능하게 합니다.