[논문 리뷰] Inverse Optimal Control Adapted to the Noise Characteristics of the Human Sensorimotor System

M. Schultheis, Dominik Straub외 1명|arXiv (Cornell University)|2021. 10. 21.

Gene Regulatory Network Analysis인용 수 7

한 줄 요약

이 논문은 신호에 따라 변동성이 변화하는 신호의존성 잡음을 고려하여 인간의 감각운동 행동의 배경이 되는 비용 함수를 추론하는 새로운 역최적제어 프레임워크를 제안한다. 확률적 POMDP 설정과 모멘트 매칭 근사법을 사용하여, 부분 관측 조건에서도 관측된 궤적으로부터 비용 파라미터를 정확하게 복원할 수 있으며, 이는 정량적 최적화 모델과 기술적 행동 모델을 통합한다.

ABSTRACT

Computational level explanations based on optimal feedback control with signal-dependent noise have been able to account for a vast array of phenomena in human sensorimotor behavior. However, commonly a cost function needs to be assumed for a task and the optimality of human behavior is evaluated by comparing observed and predicted trajectories. Here, we introduce inverse optimal control with signal-dependent noise, which allows inferring the cost function from observed behavior. To do so, we formalize the problem as a partially observable Markov decision process and distinguish between the agent's and the experimenter's inference problems. Specifically, we derive a probabilistic formulation of the evolution of states and belief states and an approximation to the propagation equation in the linear-quadratic Gaussian problem with signal-dependent noise. We extend the model to the case of partial observability of state variables from the point of view of the experimenter. We show the feasibility of the approach through validation on synthetic data and application to experimental data. Our approach enables recovering the costs and benefits implicit in human sequential sensorimotor behavior, thereby reconciling normative and descriptive approaches in a computational framework.

연구 동기 및 목표

• 신호의존성 잡음이 존재할 때 인간 감각운동 제어에서 비용 함수를 추론할 수 있는 방법의 부족을 해결하기 위해.
• 부분 관측 조건에서 에이전트의 내부 추론과 실험자가 직면하는 추론 문제 간의 차이를 체계화하기 위해.
• 기존의 LQG 가정을 초월하여, 신호의존성 잡음 하에서 실용적인 가능성을 지닌 가능도 기반의 역최적제어 방법을 개발하기 위해.
• 합성 데이터와 실험 데이터를 바탕으로 방법을 검증하여, 상태 변수가 부분적으로 관측될 경우에도 강건성을 입증하기 위해.
• 계산적 운동 제어 분야에서 정량적(최적 제어) 모델과 기술적(행동 데이터) 모델을 통합하기 위해.

제안 방법

• 신호의존성 잡음을 고려한 부분 관측 마르코프 결정 과정(POMDP)으로 전방 문제를 수식화하여, 에이전트와 실험자의 추론 모두를 모델링한다.
• 신호의존성 잡음을 포함하는 확률적 상태 진동 모델을 유도하고, 비정규 분포 불확실성을 모멘트 매칭을 통해 근사한다.
• RMSE 대신 강건성을 확보하기 위해 관측된 궤적과 시뮬레이션된 궤적 간 유사도 평가를 위해 대칭 KL 발산 측도를 도입한다.
• 관측된 운동 궤적에서 비용 함수 파라미터를 추론하기 위해 최대우도추정(MLE)을 적용한다.
• 몬테카를로 롤아웃을 사용하여 모멘트 매칭 근사가 경험적 궤적 분포와 얼마나 잘 일치하는지 검증한다.
• 상태 변수가 부분적으로 관측되는 설정으로 프레임워크를 확장하여 속도와 가속도를 잠재 변수로 간주하고, 불확실성 하에서의 파라미터 복원 성능을 평가한다.

실험 결과

연구 질문

• RQ1 신호의존성 잡음, 즉 인간 운동 변동성의 핵심 특성에 대응하여 역최적제어가 어떻게 적응될 수 있는가?
• RQ2 상태 변수가 부분적으로 관측될 경우, 관측된 궤적에서 비용 함수 파라미터는 얼마나 정확하게 복원될 수 있는가?
• RQ3 신호의존성 잡음 존재 조건에서 모멘트 매칭 근사가 궤적 분포 추정에 미치는 영향은 어떠한가?
• RQ4 부분 관측 조건에서 파라미터 추정 오차는 시뮬레이션된 궤적과 관측된 궤적 간의 유사성에 어떤 영향을 미치는가?
• RQ5 비용 함수에 대한 사전 지식 없이도, 이 방법은 인간의 순차적 감각운동 행동 배경의 비용을 신뢰성 있게 추론할 수 있는가?

주요 결과

• 부분 관측 조건에서도 합성 데이터로부터 비용 함수 파라미터를 성공적으로 복원하였으며, 루트 평균 제곱 오차(RMSE)가 매우 낮게 유지되었다. 보상(r)의 중앙값 RMSE는 4.0×10⁻², 속도 페널티(v)는 1.1×10⁻¹, 가속도 페널티(f)는 2.6×10⁻¹을 기록하였다.
• 파라미터 추정이 다소 정밀도가 떨어지는 경우에도 관측 궤적과 시뮬레이션 궤적 간의 대칭 KL 발산은 낮게 유지되어(약 10⁻³ 수준) 궤적 수준의 높은 유사성을 보였다.
• 모멘트 매칭 근사는 경험적 궤적 분포와 매우 유사하게 일치하였으며, 대칭 KL 차이는 1.60×10⁻³이었다. 이는 추가 노이즈를 사용하는 기준선 대비 유의미하게 뛰어난 성능을 보였다(KL 차이: 6.05).
• 특히 속도 및 가속도 페널티의 경우 부분 관측 조건에서 파라미터 추정 정확도가 떨어졌는데, 이는 궤적의 다의성 때문이지만, 궤적 유사성에는 크게 영향을 주지 않았다.
• 1000개의 임의의 파라미터 설정에 대해 프레임워크가 잘 일반화되었으며, 중앙값 MLE 추정치가 진짜 값과 매우 가까웠다. 이는 강력한 통계적 일致성을 시사한다.
• 이 프레임워크는 인간 운동 행동의 암묵적 비용과 이득을 신뢰성 있게 추론할 수 있게 하여, 감각운동 제어 분야에서 정량적 모델과 기술적 모델을 연결한다.