[논문 리뷰] Combining learned and analytical models for predicting action effects.

Alina Kloss, Stefan Schaal외 1명|arXiv (Cornell University)|2017. 10. 11.

Reinforcement Learning in Robotics참고 문헌 13인용 수 55

한 줄 요약

이 논문은 신경망을 통한 감각 표현과 물리 기반 분석 모델을 조합한 하이브리드 모델을 제안한다. 학습된 인식을 통해 원시 감각 데이터를 분석적 운동 모델에 공급함으로써, 순수하게 학습된 모델보다 더 높은 정확도와 더 나은 일반화 성능을 달성하면서도, 진짜 입력을 사용할 경우 분석 모델의 성능을 뒤지지 않는 성능을 보인다.

ABSTRACT

One of the most basic skills a robot should possess is predicting the effect of physical interactions with objects in the environment. This enables optimal action selection to reach a certain goal state. Traditionally, these dynamics are described by physics-based analytical models, which may however be very hard to find for complex problems. More recently, we have seen learning approaches that can predict the effect of more complex physical interactions directly from sensory input. However, it is an open question how far these models generalize beyond their training data. In this work, we analyse how analytical and learned models can be combined to leverage the best of both worlds. As physical interaction task, we use planar pushing, for which there exists a well-known analytical model and a large real-world dataset. We propose to use a neural network to convert the raw sensory data into a suitable representation that can be consumed by the analytical model and compare this approach to using neural networks for both, perception and prediction. Our results show that the combined method outperforms the purely learned version in terms of accuracy and generalization to push actions not seen during training. It also performs comparable to the analytical model applied on ground truth input values, despite using raw sensory data as input.

연구 동기 및 목표

• 복잡한 물리적 상호작용에서 훈련 데이터를 초월해 행동 효과 예측을 일반화하는 데 도전한다.
• 데이터 기반 학습과 물리 기반 분석 모델의 장점을 조합하여 더 높은 내성과 정확도를 확보한다.
• 학습된 인식이 원시 감각 입력을 사용하여 분석적 운동 모델과 효과적으로 통신할 수 있는지 조사한다.
• 훈련 데이터에 포함되지 않은 새로운 밀기 동작에 대해 하이브리드 모델의 일반화 성능을 평가한다.

제안 방법

• 원시 감각 입력(예: 이미지 또는 관측값)을 알려진 평면 밀기 운동 모델에 적합한 표현으로 매핑하는 데 신경망을 훈련한다.
• 분석 모델은 네트워크의 출력을 입력으로 받아 밀기 동작의 결과(예: 물체 이동 거리)를 예측한다.
• 하이브리드 아키텍처는 엔드 투 엔드로 훈련되며, 네트워크는 분석 모델의 가정과 일치하는 관련 특징을 원시 데이터에서 추출하도록 학습된다.
• 분석 프레임워크를 사용하지 않고 원시 입력을 직접 행동 결과로 매핑하는 순수 학습 모델과 방법을 비교한다.
• 학습된 모델의 표현력에 기반한 딥러닝의 이점을 누리면서도, 분석 모델의 해석 가능성과 일반화 능력을 활용한다.
• 사용된 분석 모델은 잘 알려진 평면 밀기 운동 이론에 기반하여 안정적인 성능 비교 기준을 확보한다.

실험 결과

연구 질문

• RQ1 학습된 인식 헤드가 원시 감각 데이터에서 행동 효과를 예측하기 위해 물리 기반 분석 모델과 효과적으로 통신할 수 있는가?
• RQ2 하이브리드 모델의 일반화 성능은 훈련 데이터에 포함되지 않은 새로운 밀기 동작에 대해 순수 학습 모델과 비교해 어떻게 되는가?
• RQ3 진짜 입력을 사용할 경우 하이브리드 모델이 분석 모델의 성능을 어느 정도까지 재현할 수 있는가?
• RQ4 학습과 분석을 융합함으로써 물리적 상호작용 예측의 정확도와 내성은 향상되는가?

주요 결과

• 하이브리드 모델은 훈련 데이터에 포함되지 않은 새로운 밀기 동작에 대해 순수 학습 모델보다 더 높은 예측 정확도를 보였다.
• 하이브리드 모델은 훈련 데이터에 포함되지 않은 밀기 동작에 대해 순수 학습 모델보다 훨씬 뛰어난 일반화 성능를 보였다.
• 진짜 입력을 사용할 경우 하이브리드 모델은 원시 감각 데이터를 입력으로 사용하면서도 분석 모델과 비교해 유사한 성능을 달성했다.
• 분석 모델을 위한 표현을 추출하기 위해 신경망을 사용함으로써, 시각 입력이 물리적으로 의미 있는 공간으로 효과적으로 전이되었다.
• 결과적으로 학습과 분석을 융합함으로써, 단독으로 사용할 경우보다 더 내성적이고 일반화 능력이 뛰어난 예측 시스템을 확보할 수 있었다.