[논문 리뷰] SERKET: An Architecture for Connecting Stochastic Models to Realize a Large-Scale Cognitive Model

Tomoaki Nakamura, Takayuki Nagai외 1명|arXiv (Cornell University)|2017. 12. 04.

Reinforcement Learning in Robotics참고 문헌 3인용 수 5

한 줄 요약

이 논문은 프로그래밍적 독립성을 유지하면서 더 작은 베이지안 모델들을 연결함으로써 대규모 인지 모델의 구축과 공동 파rameter 최적화를 가능하게 하는 모듈러 확률적 프레임워크인 Serket을 제안한다. 모듈 간에 최소 충분 통계량만을 공유함으로써, 복잡한 계층적 생성 모델에서의 파rameter 추정을 단순화하며, 다중 모odal 로봇 데이터를 사용한 개념 및 언어 습득 작업에서 원본 단일 모델과 유사한 성능을 보여준다.

ABSTRACT

To realize human-like robot intelligence, a large-scale cognitive architecture is required for robots to understand the environment through a variety of sensors with which they are equipped. In this paper, we propose a novel framework named Serket that enables the construction of a large-scale generative model and its inference easily by connecting sub-modules to allow the robots to acquire various capabilities through interaction with their environments and others. We consider that large-scale cognitive models can be constructed by connecting smaller fundamental models hierarchically while maintaining their programmatic independence. Moreover, connected modules are dependent on each other, and parameters are required to be optimized as a whole. Conventionally, the equations for parameter estimation have to be derived and implemented depending on the models. However, it becomes harder to derive and implement those of a larger scale model. To solve these problems, in this paper, we propose a method for parameter estimation by communicating the minimal parameters between various modules while maintaining their programmatic independence. Therefore, Serket makes it easy to construct large-scale models and estimate their parameters via the connection of modules. Experimental results demonstrated that the model can be constructed by connecting modules, the parameters can be optimized as a whole, and they are comparable with the original models that we have proposed.

연구 동기 및 목표

• 더 작은 독립적인 베이지안 모델들을 연결함으로써 대규모 인지 모델을 구축하고 최적화하는 데 어려움을 해결하기 위해.
• 모듈러 인지 아키텍처를 조합할 때 복잡한 파rameter 추정 식을 유도하고 구현하는 데 도전하는 문제를 극복하기 위해.
• 로봇이 다중 모달 감각 데이터와의 상호작용을 통해 개념, 언어, 운동 기술을 확장 가능하고 모듈러한 프레임워크에서 습득할 수 있도록 하기 위해.
• 전체 모델 구조 전반에 걸쳐 공동 최적화가 가능하면서도 모듈의 프로그래밍적 독립성을 유지하기 위해.

제안 방법

• Serket는 각 구성 요소가 독립적으로 구현 가능한 기본적인 베이지안 모델인 모듈러 아키텍처로 설계된다.
• 모듈 간의 통신은 최소 충분 통계량(예: 카운트, 딜리클레 또는 피트만-요르 과정의 충분 통계량)만으로 이루어져 프로그래밍적 독립성을 유지한다.
• 파rameter 추정은 연결된 모듈들 간의 최소 통계량을 집계하여 공동으로 수행되며, 각 복합 모델에 대해 복잡한 식을 재유도할 필요가 없어진다.
• 이 프레임워크는 다중 모달 객체 인식, 언어 습득, 운동 세분화와 같은 계층적 모델 조합을 지원한다.
• 블록화된 지브스 샘플링과 동적 프로그래밍을 활용하여 내재된 피트만-요르 언어 모델에서 효율적인 추론을 수행한다.
• 시각, 촉각, 청각, 운동, 언어 모달리티를 통합된 생성 모델로 통합하여 개념과 언어의 기원을 모델링한다.

실험 결과

연구 질문

• RQ1 더 작은 독립적인 베이지안 모델들로부터 대규모 인지 모델을 구축하면서도 모듈성과 프로그래밍적 독립성을 유지할 수 있는가?
• RQ2 파라미터 공동 최적화를 위해 추정 식을 재유도하지 않더라도 모듈 간에 교환되어야 할 최소한의 정보는 무엇인가?
• RQ3 Serket와 같은 모듈러 프레임워크가 개념 및 언어 습득과 같은 복잡한 인지 작업에서 단일 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 Serket는 통합된 생성 모델에서 다중 모달 감각 데이터(시각, 촉각, 청각, 운동, 언어)를 얼마나 효과적으로 처리할 수 있는가?
• RQ5 이 프레임워크는 점점 더 복잡한 인지 능력을 갖춘 모델의 계층적 조합을 지원할 수 있는가?

주요 결과

• Serket는 파라미터 추정 식을 단일 모델로 재구현할 필요 없이, 더 작은 독립적인 베이지안 모듈들을 연결함으로써 대규모 인지 모델의 구축을 성공적으로 가능하게 한다.
• 최소 충분 통계량만을 교환함으로써 모듈 간 공동 파rameter 최적화를 달성하여 구현 복잡도를 크게 감소시켰다.
• 실험 결과, Serket로 구축한 모듈러 모델이 개념 및 언어 습득 작업에서 원본 단일 모델과 유사한 성능을 보였다.
• 시스템은 시각(DSIFT 히스토그램), 촉각(15D), 청각(MFCC, 13D), 운동(70D), 언어(NPYLM) 등의 다중 모달 데이터를 단일 생성 모델로 효과적으로 통합했다.
• 블록화된 지브스 샘플링을 사용한 내재된 피트만-요르 언어 모델은 사전에 정의된 어휘 없이도 효율적인 단어 분할과 언어 모델링을 가능하게 했다.
• 공유되고 최적화된 파rameter를 가진 모델의 점진적 조합을 가능하게 하여 확장 가능하고 계층적인 인지 모델링을 지원한다.