[논문 리뷰] Towards Lifelong Self-Supervision: A Deep Learning Direction for Robotics

Jay Ming Wong|arXiv (Cornell University)|2016. 11. 01.

Human Pose and Action Recognition참고 문헌 117인용 수 6

한 줄 요약

이 논문은 로봇 분야에 지속적 자율 학습을 가능하게 하는 생애주기적 자기지도 학습 프레임워크를 제안한다. 딥 러닝, 인지 발달 이론, 제어 이론을 통합하여 다양한 작업과 환경에서 지속적으로 학습하고 향상시킬 수 있는 자율 시스템을 구현한다. 내재된 동기부여, 계층적 신경망, 피드백 제어를 통해 인간 간섭 없이 세계 모델과 운동 정책을 시간이 지남에 따라 정교화하며 경험 기반 학습을 통해 일반화 능력과 적응 능력을 향상시킨다.

ABSTRACT

Despite outstanding success in vision amongst other domains, many of the recent deep learning approaches have evident drawbacks for robots. This manuscript surveys recent work in the literature that pertain to applying deep learning systems to the robotics domain, either as means of estimation or as a tool to resolve motor commands directly from raw percepts. These recent advances are only a piece to the puzzle. We suggest that deep learning as a tool alone is insufficient in building a unified framework to acquire general intelligence. For this reason, we complement our survey with insights from cognitive development and refer to ideas from classical control theory, producing an integrated direction for a lifelong learning architecture.

연구 동기 및 목표

• 현재의 딥 러닝 기술이 과도하게 작업 특화된 수작업 설계된 특징에 의존하고 영역 간 일반화에 실패하는 데 기인한 한계를 해결하기 위해.
• 로봇이 유휴 시간 동안 세계 모델과 운동 정책을 지속적으로 개선할 수 있도록 생애주기적 학습 아키텍처를 개발하기 위해.
• 인지 발달 이론과 고전적 제어 이론의 통찰을 딥 러닝에 통합하여 내재된 동기부여와 구조적 기반 구축을 지원하기 위해.
• 공유된 표현과 계층적 학습을 활용하여 새로운 작업과 환경 간의 일반화를 가능하게 하기 위해.
• 원시 감각 입력에서의 종단 간 학습을 넘어서, 기존의 운동 프리미티브와 제어 구조를 기반으로 하여 생애주기적 적응을 가능하게 하기 위해.

제안 방법

• 시스템은 지속적인 상호작용을 통해 복잡한 운동 행동과 세계 동역학 표현을 학습하기 위해 계층적 딥 뉴럴 네트워크를 사용한다.
• 내재된 동기부여는 예측 오차를 통해 구현되며, 보상은 예측된 세계 상태와 실제 세계 상태 간의 격차에 기반하여 계산된다.
• 학습 안정성 향상과 전이 학습 지원을 위해 별도의 가치 네트워크와 정책 네트워크를 갖춘 이중 스트림 네트워크 아키텍처를 사용한다.
• 다양한 로봇 형태와 제어 목표 간의 일반화를 가능하게 하기 위해, 매개변수화된 제어기(제어 기반 공식화)를 통합한다.
• 세계 동역학은 상태 변화를 자기지도 방식으로 예측함으로써 모델링되며, 이로 인해 명시적 지도 없이도 물리적 상호작용을 학습할 수 있다.
• Pinto와 Gupta(2016)에서 보여진 바와 같이, 작업 간 표현 공유를 활용하여 관련된 작업에서 사전 학습함으로써 새로운 작업에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝은 어떻게 고립된 작업 성능을 넘어서 지속적이고 생애주기적인 학습을 지원할 수 있는가?
• RQ2 예측 오차에 기반한 내재된 동기부여는 자율적 기술 습득과 표현 학습을 이끄는 데 어떤 역할을 할 수 있는가?
• RQ3 계층적 딥 러닝 아키텍처와 제어 이론은 어떻게 융합되어 강건하고 일반화 가능한 운동 제어를 가능하게 하는가?
• RQ4 작업 간 공유된 표현은 로봇 학습에서 일반화 능력을 향상시키고 샘플 복잡도를 감소시키는 데 어떤 방식으로 기여하는가?
• RQ5 생애주기적 자기지도 학습은 로봇 시스템에서 인간이 설계한 특징과 보상에 대한 의존도를 줄일 수 있는가?

주요 결과

• 작업 간 표현 공유—예를 들어, 집기와 밀기 작업에서 동시에 학습하는 것—은 작업 특화 사전 학습만으로는 달성할 수 없는 로봇 조작 성능 향상을 이끈다.
• 내재된 예측 오차를 보상 신호로 사용함으로써, 외부 지도 없이도 세계 동역학과 운동 정책을 자율적으로 학습할 수 있다.
• 매개변수화된 제어기를 갖춘 계층적 딥 러닝 아키텍처는 다양한 로봇 형태와 제어 목표 간의 일반화를 지원한다.
• 생애주기적 자기지도 학습은 유휴 시간 동안 내부 표현을 정교화하고 제어 파rameter를 최적화함으로써 시간이 지남에 따라 강건성과 성능을 향상시킨다.
• 딥 러닝과 제어 이론, 인지 발달 원리의 통합은 자율 시스템 학습을 위한 더 스케일러블하고 일반화 가능한 프레임워크를 가능하게 한다.
• 프레임워크는 작업과 로봇 간 전이 학습을 지원하며, Devin 등(2016)에서 보여진 바와 같이 모듈화된 정책 분해를 통해 적응 능력을 향상시킨다.