[논문 리뷰] Learning Awareness Models

Brandon Amos, Laurent Dinh외 8명|arXiv (Cornell University)|2018. 04. 17.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 13

한 줄 요약

이 논문은 외부 물체의 영향을 몸체에 미치는 영향을 암묵적으로 표현하는 바탕으로, 자가감지 신호(프로 prioceptive signals)만을 사용하여 동적 신체 모델을 학습하는 방법을 제안한다. 직접적인 환경 관찰 없이도 모델은 지속적이고 통합적인 물체 표현을 학습하며, 시뮬레이션과 실제 로봇 손에서 물체의 성질을 정확하게 예측하고 제어 정책을 수립하는 데 성공한다.

ABSTRACT

We consider the setting of an agent with a fixed body interacting with an unknown and uncertain external world. We show that models trained to predict proprioceptive information about the agent's body come to represent objects in the external world. In spite of being trained with only internally available signals, these dynamic body models come to represent external objects through the necessity of predicting their effects on the agent's own body. That is, the model learns holistic persistent representations of objects in the world, even though the only training signals are body signals. Our dynamics model is able to successfully predict distributions over 132 sensor readings over 100 steps into the future and we demonstrate that even when the body is no longer in contact with an object, the latent variables of the dynamics model continue to represent its shape. We show that active data collection by maximizing the entropy of predictions about the body---touch sensors, proprioception and vestibular information---leads to learning of dynamic models that show superior performance when used for control. We also collect data from a real robotic hand and show that the same models can be used to answer questions about properties of objects in the real world. Videos with qualitative results of our models are available at https://goo.gl/mZuqAV.

연구 동기 및 목표

• 환경를 직접 관찰하지 않고도 에이전트가 외부 물체를 내부 자기감지 신호만으로 표현할 수 있는 프레임워크를 개발하는 것.
• 예측 모델이 신체 상태를 통해 외부 물체의 지속적이고 통합적인 표현을 암묵적으로 포착할 수 있는지 조사하는 것.
• 이러한 모델이 물체 성질에 대한 추론과 제어 과제에서의 계획 수단으로 사용될 수 있음을 보여주는 것.
• 시뮬레이션과 실제 로봇 플랫폼에서 이 접근법을 검증하여 실제 동역학에 대한 일반화 능력을 입증하는 것.

제안 방법

• 로봇 손의 132개 자기감지 센서 읽기(관절 각도, 토크, 접촉력, 관성 측정값)를 시뮬레이션과 실제 환경에서 학습하여 심층 예측 모델을 훈련한다.
• 시간적 일관성을 활용하여 향후 100단계의 센서 상태를 예측함으로써 물체 성질을 유추한다.
• 예측 엔트로피를 최대화하여 탐색을 장려하고 모델 일반화를 향상시키기 위해 능동적 데이터 수집을 적용한다.
• 역동성 모델의 잠재 표현을 추출하여 물체의 형태와 방향성 같은 성질을 유추한다.
• 학습 중에 관찰되지 않은 제어 목표를 달성하기 위해 잠재 공간에서 궤적을 최적화함으로써 계획을 수행한다.
• 동일한 모델 아키텍처와 훈련 절차를 실제 로봇 손 데이터에 적용하여 실제 적용 가능성에 대한 증명을 한다.

실험 결과

연구 질문

• RQ1 자기감지 신호만으로 훈련된 모델이 외부 물체의 지속적이고 통합적인 표현을 직접적인 환경 관찰 없이 학습할 수 있는가?
• RQ2 에이전트가 물체에 접촉하지 않은 상태에서도 신체 역학의 예측 모델이 물체의 형태와 방향성 같은 성질을 어느 정도 유추할 수 있는가?
• RQ3 예측 불확실성 기반의 능동적 데이터 수집이 후속 추론 및 제어 과제에서 학습된 역동성 모델의 품질을 향상시키는가?
• RQ4 동일한 모델 아키텍처와 훈련 절차가 시뮬레이션에서 실제 로봇 플랫폼으로 일반화되는가?
• RQ5 역동성 모델의 잠재 공간을 사용하여 외부 물체의 진단 질문, 예를 들어 물체의 방향성에 대해 답변할 수 있는가?

주요 결과

• 손이 물체와 접촉하지 않은 상태에서도 132개 센서 읽기를 100단계 향후에 고정밀도로 예측할 수 있었다.
• 손이 물체에서 떨어진 후에도 역동성 모델의 잠재 변수가 여전히 물체의 형태와 성질을 표현함으로써 지속적인 물체 인식 능력을 보였다.
• 예측 엔트로피를 최대화한 능동적 데이터 수집은 제어 및 추론 과제에서 뛰어난 성능을 보이는 모델을 도출했다.
• 실제 로봇 손에서, 모델은 자기감지 데이터와 모델 특징만을 사용하여 물체의 방향을 정확하게 예측했으며, 중앙값 오차는 10° 이내였다.
• 학습 중에 관찰되지 않은 목표를 달성하기 위해 잠재 공간에서의 계획을 수행함으로써, 직접 관찰을 초월한 추론 능력을 입증했다.
• 부트스트랩 분석 결과, 모델 특징가 원시 센서 데이터보다 물체의 방향 예측에서 유의미하게 뛰어난 성능을 보였으며, 95% 신뢰구간은 통계적 향상을 시사했다.