[논문 리뷰] RoboBrain: Large-Scale Knowledge Engine for Robots

Ashutosh Saxena, Ashesh Jain외 4명|arXiv (Cornell University)|2014. 12. 01.

Multimodal Machine Learning Applications참고 문헌 71인용 수 110

한 줄 요약

로보브레인은 로봇, 웹, 연구 프로젝트 등 다양한 출처에서 상징적 지식, 시각적 지식, 언어적 지식, 촉각적 지식를 집계하고 통합하여 유일한 그래프 기반 지식 기반으로 만드는 대규모 다중 모odal 지식 엔진이다. 로봇이 이 그래프에서 다양한 모odal 간 통합 추론을 위해 질의할 수 있도록 함으로써 자연어 기반 지정, 인지, 계획 분야에서 성능 향상을 이룬다. 실험 결과 단독 알고리즘 대비 정확도와 강인성 향상이 측정 가능하게 나타났다.

ABSTRACT

In this paper we introduce a knowledge engine, which learns and shares knowledge representations, for robots to carry out a variety of tasks. Building such an engine brings with it the challenge of dealing with multiple data modalities including symbols, natural language, haptic senses, robot trajectories, visual features and many others. The extit{knowledge} stored in the engine comes from multiple sources including physical interactions that robots have while performing tasks (perception, planning and control), knowledge bases from the Internet and learned representations from several robotics research groups. We discuss various technical aspects and associated challenges such as modeling the correctness of knowledge, inferring latent information and formulating different robotic tasks as queries to the knowledge engine. We describe the system architecture and how it supports different mechanisms for users and robots to interact with the engine. Finally, we demonstrate its use in three important research areas: grounding natural language, perception, and planning, which are the key building blocks for many robotic tasks. This knowledge engine is a collaborative effort and we call it RoboBrain.

연구 동기 및 목표

• 로봇이 작업 수행을 위해 다양한 다중 모달 지식 소스(예: 언어, 시각, 촉각, 궤적)에 액세스하고 추론할 수 있도록 하는 도전 과제를 해결하기 위해.
• 로봇, 웹, 연구 프로젝트로부터의 지식을 하나의 상호 연결된 그래프로 통합하는 확장 가능하고 협업 기반의 지식 인fra를 구축하기 위해.
• 공유된 지식 기반을 통한 다중 모달 간 통합 추론을 가능하게 함으로써 인지, 언어 이해, 계획 분야에서 로봇의 작업 성능 향상을 위해.
• 로봇과 연구자들이 표준화된 질의 인터페이스(Robot Query Library)를 통해 최신 지식 표현에 원활하게 액세스할 수 있도록 지원하여, 상태 기반 지식 표현에의 접근성을 높이기 위해.
• 로보브레인을 통한 지식 공유가 자연어 기반 지정 및 경로 계획 분야의 기존 알고리즘 성능 향상에 기여하는지 경험적으로 검증하기 위해.

제안 방법

• 로봇 상호작용, 웹 데이터(Wikipedia, WordNet 등), 연구 프로젝트 등 다양한 출처의 지식을 이질적인 그래프 구조(노드: 개념, 간선: 관계)를 사용해 표현하기 위해.
• 노드가 실체(예: 물체, 동작, 자세)를 나타내고 간선가 의미적, 공간적, 기능적, 인지적 관계를 코딩하는 통합 그래프를 사용해 다중 모달 지식을 모델링하기 위해.
• 로봇과 연구자들이 고수준 질의(예: ' botle를 잡을 수 있는 자세를 찾기')를 내보내고 그래프에서 관련 지식을 검색할 수 있도록 로봇 질의 라이브러리(RQL)를 구현하기 위해.
• 확률적 추론을 사용해 최적의 지식 표현을 선택하기 위해: 입력 명령, 증거, 모델 사전 확률를 고려한 추론 결과의 가능도를 최대화하는 방식으로 $ \text{argmax}_{\text{representation}} P(\text{inferred}|\text{evidence}, \text{language}, w^*)P(\text{model}) $ 를 적용하기 위해.
• 대규모 협업 지식 공유를 위해 클라우드 기반 아키텍처를 설계하여 분산형 동시 업데이트 및 검색을 지원하기 위해.
• 로봇 연구 프로젝트 및 외부 자료(예: ImageNet, Kinect 데이터셋)로부터의 지식 통합을 통해 그래프를 풍부화하고 연결성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 다양한 출처에서 유래한 다중 모달 지식(기호, 언어, 시각, 촉각)을 어떻게 효과적으로 통합하여 질의 가능한 통합 구조로 만들 수 있는가?
• RQ2 로보브레인의 공유 지식 표현 방식이 고립된 알고리즘 대비 자연어 기반 지정 및 경로 계획과 같은 로봇 작업에서 성능 향상에 얼마나 기여하는가?
• RQ3 로보브레인 그래프의 연결성은 독립된 지식 소스와 비교해 어떻게 다른가? 그리고 다양한 로봇 작업에 대한 일반화 능력 향상에 기여하는가?
• RQ4 그래프 기반 지식 엔진이 로봇 시스템에서 인지, 언어, 계획 간 실시간 통합 추론을 지원할 수 있는가?
• RQ5 협업 기반 지식 공유가 로봇 추론 시스템의 정확도와 강인성에 어떤 영향을 미치는가?

주요 결과

• 로보브레인 그래프는 44,347개의 노드와 98,465개의 간선을 포함하고 있으며, 프로젝트와 모달 간 높은 연결성을 확보하여 고립된 지식 소스 대비 평균 노드 차수를 0.8 증가시켰다.
• 차수 분포 분석 결과, 로보브레인은 고립된 노드(차수 1 및 2)의 수를 감소시키고 고차수 노드(차수 ≥3)의 수를 증가시켜 개념 간의 상호 연결성 향상을 성공적으로 달성했다.
• 자연어 기반 지정 분야에서 로보브레인에 질의하여 최적의 표현을 선택함으로써 성능 향상이 이루어졌다: IED(문자 편집 거리)는 알고리즘 A의 31.7과 알고리즘 B의 23.7에서 로보브레인 A+B 조합의 34.2로 감소하였고, EED(의미적 거리)는 16.3과 27.0에서 24.2로 향상되었으며, 정규화된 값(100 기준, 높을수록 우수)이다.
• 로보브레인의 지식 공유 기능은 경로 계획 및 자연어 기반 지정 알고리즘의 성능 향상에 기여하였으며, 다중 모달 지식을 통합하여 추론 정확도를 높일 수 있음을 입증하였다.
• 로봇이 '부엌에서 달콤한 차를 가져와'와 같은 복잡한 작업을 수행할 수 있도록, 물체 위치, 잡는 자세, 따르기, 공간 제약 조건에 대한 지식을 검색하고 통합함으로써 성공적으로 수행할 수 있었다.
• 로봇 질의 라이브러리(RQL)는 연구자들이 최신 지식 표현을 쉽게 액세스하고 시스템에 통합할 수 있도록 하여 재사용성과 협업을 촉진하였다.