[논문 리뷰] Deep Semantic Abstractions of Everyday Human Activities: On Commonsense Representations of Human Interactions

Jakob Suchan, Mehul Bhatt|arXiv (Cornell University)|2017. 10. 10.

Semantic Web and Ontologies인용 수 3

한 줄 요약

이 논문은 RGB-D 센서 데이터에 기반한 일반적인 공간적·시간적 추론을 바탕으로 일상 활동에서 인간-물체 상호작용을 모델링하기 위해 심층적 의미 온톨로지(semantic ontology)를 제안한다. 제약 논리 프로그래밍을 통해 시공간 관계를 형식화함으로써, 인지로봇공학 환경에서 운동 및 상호작용 패턴에 대한 기제적이고 설명 가능한 추론을 가능하게 한다.

ABSTRACT

We propose a deep semantic characterization of space and motion categorically from the viewpoint of grounding embodied human-object interactions. Our key focus is on an ontological model that would be adept to formalisation from the viewpoint of commonsense knowledge representation, relational learning, and qualitative reasoning about space and motion in cognitive robotics settings. We demonstrate key aspects of the space & motion ontology and its formalization as a representational framework in the backdrop of select examples from a dataset of everyday activities. Furthermore, focussing on human-object interaction data obtained from RGBD sensors, we also illustrate how declarative (spatio-temporal) reasoning in the (constraint) logic programming family may be performed with the developed deep semantic abstractions.

연구 동기 및 목표

• 공간과 운동에 대한 일반적인 지식에 기반한 몸으로 경험하는 인간-물체 상호작용을 표현하기 위한 온톨로지 프레임워크 개발.
• 인지로봇공학 및 설명 가능한 인공지능에서 사용 가능한 정성적 시공간 관계(예: 만지기, 동안, 부분-전체)를 형식화.
• CLP(QS) 및 ASPMT(QS)와 같은 논리 프로그래밍 패러다임을 활용해 동적 시각-공간 시나리오에 대한 기제적 추론을 가능하게 함.
• 고수준의 개념적 행동 표현과 저수준의 RGB-D 센서에서의 감각-운동 데이터 간의 다리를 놓기.
• 인지언어학과 공간인지에 기반한 관계 기반 학습, 추론, 시뮬레이션 지원.

제안 방법

• 일상적인 인간-물체 상호작용의 일반적인 표현에 중심을 둔 공간과 운동의 온톨로지 모델 설계.
• RGB-D 센서 데이터를 사용해 시간에 따라 3D 관절 위치와 물체 위치를 추출하여 시공간 트랙 형성.
• 관찰된 동적 패턴에 기반해 상호작용(예: 집기, 전달,倒기)을 정성적 시공간 관계의 시퀀스로 인코딩.
• 제약 논리 프로그래밍(CLP(QS))을 적용해 공간-시간 역사 및 운동 패턴에 대한 기제적 추론 수행.
• 비단조화적 추론, 추론적 설명, 관계 기반 학습을 위한 규칙 기반 추론과 형식 모델 통합.
• 일상 주방 활동 데이터셋을 활용해 프레임워크 검증; Prolog를 사용해 상호작용 시퀀스에 대한 상호작용 질의 응답 제공.

실험 결과

연구 질문

• RQ1 일상 활동에서 인간-물체 상호작용에 대한 추론을 지원하기 위해 일반적인 공간적·시간적 관계를 어떻게 형식화할 수 있는가?
• RQ2 심층적 의미의 공간과 운동 추상화는 저수준의 RGB-D 센서 데이터에 어떻게 기반을 두어야 인지로봇공학에서 유의미한가?
• RQ3 제약 논리 프로그래밍은 인간-로봇 상호작용의 시공간 역학에 대해 기제적이고 설명 가능한 추론을 어떻게 수행할 수 있는가?
• RQ4 안전한 상호작용과 안전하지 않은 상호작용을 구분하는 데 핵심이 되는 정성적 관계와 운동 패턴은 무엇인가? (예: 노트북 위로 컵을 전달하는 경우)
• RQ5 이 온톨로지는 더 복잡한 환경에서 실내 이동 및 사회적 상호작용을 지원하도록 어떻게 확장될 수 있는가?

주요 결과

• 제안된 온톨로지는 '만지기', '동안', '부분-전체'와 같은 정성적 시공간 관계를 형식적이고 기계가 처리할 수 있는 방식으로 인간-물체 상호작용을 성공적으로 모델링한다.
• 프레임워크는 상호작용 시퀀스에 대한 상호작용 기반 추론을 가능하게 하여, 공간적 맥락이 있는 '컵을 전달하는' 등의 기반 행동 탐지가 가능하다.
• 공간적·시간적 제약에 기반해 시스템은 안전한 행동과 안전하지 않은 행동을 구분한다 — 예를 들어, 빈 컵을 노트북 위로 전달하는 것과 가득 찬 컵을 전달하는 것.
• 제약 논리 프로그래밍(CLP(QS))은 정량적-정성적 혼합 추론을 효과적으로 지원하여 일관성 검사 및 추론적 설명을 가능하게 한다.
• 모델은 인지언어학에 기반한 관계 기반 학습과 시뮬레이션을 지원하여 자연어 및 센서 데이터로부터 지식 획득을 촉진한다.
• 이 접근법은 실제 로봇 플랫폼으로의 확장이 가능하며, ROS 및 openEASE, ExpCog 인지로봇 프레임워크에 통합될 예정이다.