[논문 리뷰] The CRAM Cognitive Architecture for Robot Manipulation in Everyday Activities

Michael Beetz, Gayane Kazhoyan외 1명|arXiv (Cornell University)|2023. 04. 27.

AI-based Problem Solving and Planning인용 수 7

한 줄 요약

이 논문은 CRAM을 소개하며, 지식 기반 추론, 생성 모델, 디지털 트윈 추론를 통해 부족한 동작 기술을 매개변수화된 운동 계획으로 해석함으로써 로봇이 일상적인 조작 작업을 수행할 수 있도록 하는 하이브리드 인지 아키텍처를 제공한다. 이 아키텍처는 상징적이고 비상징적인 통합에 기반한 맥락 인식형, 설명 가능하고 적응 가능한 계획을 통해 실세계 환경에서 복잡한 주방 작업을 성공적으로 수행한다.

ABSTRACT

This paper presents a hybrid robot cognitive architecture, CRAM, that enables robot agents to accomplish everyday manipulation tasks. It addresses five key challenges that arise when carrying out everyday activities. These include (i) the underdetermined nature of task specification, (ii) the generation of context-specific behavior, (iii) the ability to make decisions based on knowledge, experience, and prediction, (iv) the ability to reason at the levels of motions and sensor data, and (v) the ability to explain actions and the consequences of these actions. We explore the computational foundations of the CRAM cognitive model: the self-programmability entailed by physical symbol systems, the CRAM plan language, generalized action plans and implicit-to-explicit manipulation, generative models, digital twin knowledge representation & reasoning, and narrative-enabled episodic memories. We describe the structure of the cognitive architecture and explain the process by which CRAM transforms generalized action plans into parameterized motion plans. It does this using knowledge and reasoning to identify the parameter values that maximize the likelihood of successfully accomplishing the action. We demonstrate the ability of a CRAM-controlled robot to carry out everyday activities in a kitchen environment. Finally, we consider future extensions that focus on achieving greater flexibility through transformational learning and metacognition.

연구 동기 및 목표

• 일상적인 로봇 조작에서의 모호한 작업 명세 문제를 해결하기 위해.
• 지식, 경험, 예측을 통해 맥락 기반 행동 생성을 가능하게 하기 위해.
• 운동, 센서 데이터, 동작 등의 다수 수준에서 통합된 인지 프레임워크 내에서 추론을 지원하기 위해.
• 내용 기반 에피소딕 기억과 디지털 트윈 지식 표현을 통해 행동과 그 결과의 설명 가능성을 제공하기 위해.
• 실세계 환경(예: 주방)에서 자율적이고 유연한 조작의 가능성을 입증하기 위해.

제안 방법

• CRAM은 상징적 추론과 비상징적 처리를 통합하여 인간과 유사한 인지 능력을 로봇에 모델링하는 하이브리드 인지 아키텍처를 사용한다.
• 일반화된 동작 계획을 '취득', '치우치기', '倒기', '자르기' 등의 동작 템플릿으로 사용하며, 맥락 기반 값으로 매개변수화한다.
• 고수준 동작 기술자(Designator)는 세 단계 과정을 통해 저수준 운동, 위치, 물체 기술자로 해석된다: 모호한 동작 기술의 수행, 일반화된 계획의 해석, 기술자들을 실행 가능한 운동 계획으로 해소.
• 맥락 기반화 과정은 지식과 센서 데이터를 바탕으로 성공 가능성 최대화를 위한 최적의 매개변수 값을 추론하기 위해 생성 모델을 사용한다.
• 디지털 트윈 지식 표현은 실행 전 물리적 상호작용과 결과에 대한 시뮬레이션과 추론을 가능하게 한다.
• 내용 기반 에피소딕 기억은 구조화되고 인간이 읽을 수 있는 내러티브를 사용해 행동과 그 결과를 설명할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 인지 아키텍처가 실세계 환경에서 실행 가능한 맥락 기반 운동 계획으로 모호한 동작 기술을 해석할 수 있는가?
• RQ2 조작 작업 중에 센서 데이터, 운동, 고수준 동작 등의 다수 수준에서 추론을 수행하기 위해 어떤 메커니즘이 필요한가?
• RQ3 생성 모델과 디지털 트윈은 불확실하고 동적인 환경에서 행동 결과를 예측하고 최적화하는 데 어떻게 활용될 수 있는가?
• RQ4 설명 가능한 추론과 내러티브 기억은 로봇 행동의 투명성과 신뢰도를 향상시키는 데 어떤 방식으로 기여하는가?
• RQ5 하이브리드 상징적 및 비상징적 처리는 일상 활동에서의 민첩하고 적응 가능한, 자가 프로그래밍 가능한 로봇 행동을 어떻게 지원하는가?

주요 결과

• CRAM은 취득, 치우치기, 따르기, 자르기 등의 복잡한 일상 조작 작업을 주방 환경에서 성공적으로 수행하여 실세계 조건에서의 강건성을 입증했다.
• 지식과 맥락을 바탕으로 최적의 매개변수를 추론하는 생성 모델을 활용해 고수준 동작 기술자를 매개변수화된 운동 계획으로 해석함으로써 성공적인 작업 완수를 달성했다.
• 디지털 트윈 기반 추론은 행동 결과의 정확한 시뮬레이션과 예측을 가능하게 하여 계획의 신뢰성과 안전성을 향상시켰다.
• 내용 기반 에피소딕 기억은 인간이 읽을 수 있는 설명을 생성함으로써 행동과 그 결과의 투명성을 향상시켰다.
• 상징적 계획과 비상징적 인식 및 학습의 통합은 다양한 작업 명세와 환경 조건에 대한 민첩한 적응을 가능하게 했다.
• 경험과 새로운 지식에 기반한 동적 재구성 능력을 통해 물리적 기호 시스템을 통한 자가 프로그래밍 능력을 입증했다.