[논문 리뷰] Structure Learning in Motor Control:A Deep Reinforcement Learning Model

Ari Weinstein, Matthew Botvinick|arXiv (Cornell University)|2017. 06. 21.

Motor Control and Adaptation참고 문헌 19인용 수 8

한 줄 요약

이 논문은 시각운동 적응에서 관찰되는 운동 구조 학습을 설명하기 위해 순환 신경망(RNN)을 적응형 전진 모델로 사용하는 딥 강화학습 모델을 제안한다. 구조적 교란(순수한 회전 대비 복합 변환)에 대해 훈련함으로써, 인간의 행동 데이터를 재현한다: 이전 훈련에서 순수한 회전만 있었을 경우 60° 회전에 더 빠르게 적응함을 보여주며, RNN 기반의 구조 학습이 운동 제어에서 효율적인 메타학습을 가능하게 한다.

ABSTRACT

Motor adaptation displays a structure-learning effect: adaptation to a new perturbation occurs more quickly when the subject has prior exposure to perturbations with related structure. Although this `learning-to-learn' effect is well documented, its underlying computational mechanisms are poorly understood. We present a new model of motor structure learning, approaching it from the point of view of deep reinforcement learning. Previous work outside of motor control has shown how recurrent neural networks can account for learning-to-learn effects. We leverage this insight to address motor learning, by importing it into the setting of model-based reinforcement learning. We apply the resulting processing architecture to empirical findings from a landmark study of structure learning in target-directed reaching (Braun et al., 2009), and discuss its implications for a wider range of learning-to-learn phenomena.

연구 동기 및 목표

• 시각운동 적응에서 관찰되는 학습-학습의 한 형태인 운동 구조 학습의 계산적 기제를 설명하기 위해.
• 베이지안 학습과 딥 러닝 관점 간의 메타학습을 연결하기 위해, 순환 신경망을 통해 구조 학습을 모델링하기 위해.
• Braun 등(2009)의 실험적 발견을 설명하기 위해, 이는 동일한 구조적 형태(예: 회전)를 가진 이전 훈련 교란이 있을 경우 더 빠른 적응을 보임을 보여준다.
• 경험에서 잠재적인 작업 구조를 추론할 수 있도록 RNN이 학습할 수 있음을 보여주며, 이는 새로운 구조적으로 유사한 작업에 더 빠르게 적응하는 데 기여한다.
• Braun 등(2009)의 인간 행동 데이터와 비교하여 누적 페널티, 각도 오차, 궤적 편차, 목표 지점 도달 가능성 등의 지표를 사용해 모델 성능을 검증한다.

제안 방법

• 상태, 행동, 전이 동역학, 보상 함수를 갖는 유한 수평의 마코프 결정 과정(MDP)으로 운동 제어를 수식화한다.
• 과거 행동-결과 관측치를 통합하여 미래 상태를 추정하는 예측 전진 모델로 순환 신경망(RNN)을 사용한다.
• 랜덤 워크 데이터의 2,000개 시뮬레이션 궤적을 사용하여, 각 궤적이 3초 동안 지속하도록, 역전파를 시간에 따라 적용해 RNN을 훈련한다.
• 테스트 동안 RNN 가중치를 동결하고, RNN을 계획기와 결합하여 순수한 60° 시각운동 회전 조건에서 도달 궤적을 생성한다.
• 두 훈련 조건인 Rot(순수한 회전만)과 Rot+(회전에 더해 비틀림과 스케일 추가) 간의 모델 성능을 비교한다.
• 누적 페널티, 각도 오차, 속도, 그리고 연속적인 도달 동안 목표 영역까지의 최소 거리 등의 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 RNN 기반 전진 모델을 갖춘 딥 강화학습 모델이 인간의 시각운동 적응에서 관찰된 구조 학습 효과를 재현할 수 있는가?
• RQ2 이전에 구조적으로 일관된 교란(예: 순수한 회전)에 노출된 후, 새로운 유사한 교란에 대해 적응 속도와 정확도가 어떻게 영향을 받는가?
• RQ3 훈련 전환 집합의 복잡성(Rot 대 Rot+)이 모델이 잠재적인 작업 구조를 추론하고 일반화하는 데 영향을 미치는 정도는 어느 정도인가?
• RQ4 RNN 모델의 내부 예측 정확도가 초기 각도 오차 및 목표 도달률과 같은 행동 성능 지표와 상관관계가 있는가?
• RQ5 모델의 궤적 변동성과 수렴 속도가 Braun 등(2009)의 실험적 인간 데이터와 정량적으로 일치하는가?

주요 결과

• 훈련 중 Rot 모델은 시간 단위당 평균 예측 오차 0.002 cm를 기록했으며, 이는 Rot+ 모델의 0.03 cm/단위보다 유의미하게 낮았다.
• 테스트 동안 Rot 모델은 60° 회전 프로브에 더 빠르고 정확하게 적응했으며, 누적 페널티가 낮고 수렴 속도가 더 빠르게 나타났다.
• Rot 모델은 항상 목표 영역 내 1.6 cm 반경 내에서 목표에 도달했지만, Rot+ 모델은 높은 변동성을 보이며 초기 각도 오차는 낮음에도 불구하고 자주 목표에 도달하지 못했다.
• Rot 모델은 궤적 분산이 낮았으며, 특히 목표 영역까지의 최소 거리 지표에서 더욱 날카운 신뢰구간을 보였다.
• Rot+ 모델은 약 1.3의 스케일링 인자로 인해 행동의 영향을 항상 과소평가하여 지속적인 예측 오차와 열악한 계획 성능를 유발했다.
• 모델는 인간 행동 데이터를 정성적으로 재현했다: Rot 조건에서 더 빠른 적응과 더 나은 성능를 보였으며, 이는 훈련 시 구조적 일관성이 메타학습 효율성을 향상시킨다는 것을 확인한다.