[논문 리뷰] A Brain Inspired Learning Algorithm for the Perception of a Quadrotor in Wind

Ajith Anil Meera, Martijn Wisse|arXiv (Cornell University)|2021. 09. 24.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 일반화된 좌표를 사용하여 모델링되지 않은 바람 동역학과 비선형성을 색깔 잡음으로 모델링함으로써 불확실성 하에서 다중로터의 출력 예측 성능을 향상시키는 뇌에 영감을 받은 동적 기대값 최대화(DEM) 알고리즘을 제안한다. 실제 비행 실험에서 DEM은 고전적 추정기들보다 가장 낮은 평균 제곱 예측 오차(MSPE)를 기록하였으며, 자유 에너지 최대화를 통한 로봇 인식 및 모델 순서 선택에 대한 DEM의 첫 번째 실험적 검증을 제공한다.

ABSTRACT

The quest for a brain-inspired learning algorithm for robots has culminated in the free energy principle from neuroscience that models the brain's perception and action as an optimization over its free energy objectives. Based on this idea, we propose an estimation algorithm for accurate output prediction of a quadrotor flying under unmodelled wind conditions. The key idea behind this work is the handling of unmodelled wind dynamics and the model's non-linearity errors as coloured noise in the system, and leveraging it for accurate output predictions. This paper provides the first experimental validation for the usefulness of generalized coordinates for robot perception using Dynamic Expectation Maximization (DEM). Through real flight experiments, we show that the estimator outperforms classical estimators with the least error in output predictions. Based on the experimental results, we extend the DEM algorithm for model order selection for complete black box identification. With this paper, we provide the first experimental validation of DEM applied to robot learning.

연구 동기 및 목표

• 모델링되지 않은 바람과 같은 비모델링 동역학에 대응하는 강건한 로봇 인식 문제를 뇌에 영감을 받은 학습 원리를 활용하여 해결하고자 한다.
• 비모델링 시스템 동역학 상황에서 일반화된 좌표의 활용이 추정 정확도 향상에 기여하는지 검증하고자 한다.
• 완전한 블랙박스 시스템 식별을 위한 DEM의 확장 및 자동 모델 순서 선택 기능을 제공하고자 한다.
• DEM이 실제 로봇 응용 분야에서 고전적 추정기들보다 뛰어난 성능을 보임을 경험적 증거로 제시하고자 한다.

제안 방법

• 알고리즘은 비모델링된 바람과 비선형성을 색깔 잡음으로 간주하여 자유 에너지 최적화 프레임워크 내에서 감각 놀라움으로 간주한다.
• 일반화된 좌표를 사용하여 동적 기대값 최대화(DEM)를 적용하여 은닉 상태, 입력, 파라미터 및 잡음 초모수를 동시에 추정한다.
• 예측 오차와 모델 복잡도 사이의 균형을 맞추는 자유 에너지 목적 함수를 사용하여 불확실성 해소를 가능하게 한다.
• 모델 순서 선택은 평균 자유 에너지($\bar{F}$)를 최대화하여 달성되며, 이는 진정한 시스템 순서에 도달할 때 포화 상태에 도달한다.
• 알고리즘은 EM 유사 프레임워크 내에서 D_STEP(상태 및 입력 추정)과 M_STEP(파라미터 및 잡음 초모수 업데이트)를 반복적으로 갱신한다.
• 블랙박스 식별을 위한 확장된 알고리즘이 제안되며, 모델 순서를 점진적으로 초기화하고 $\bar{F}$ 최대화 기반으로 최적 순서를 선택한다.

실험 결과

연구 질문

• RQ1 비모델링된 바람 조건 하에서 일반화된 좌표를 사용한 DEM 기반 인식이 고전적 추정기들 대비 다중로터의 출력 예측 정확도 향상에 기여하는가?
• RQ2 일반화된 좌표(예: 상태의 도함수 등)의 사용이 불확실성 하에서 시스템 동역학 추정에 유익한가?
• RQ3 자유 에너지 목적 함수($\bar{F}$)는 블랙박스 시스템 식별에서 모델 순서 선택의 신뢰할 수 있는 지표가 될 수 있는가?
• RQ4 실제 바람 간섭 상황에서 DEM은 서브스페이스(SS), PEM, EM과 같은 고전적 시스템 식별 방법들보다 출력 예측 정확도 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• DEM은 150단계 앞서 예측하는 데 있어 모든 다섯 번의 비행 실험에서 가장 낮은 평균 제곱 예측 오차(MSPE)를 기록하였으며, SS, PEM, EM을 모두 능가하였다.
• 일반화된 좌표의 사용이 MSPE를 감소시켜 비모델링 동역학 상황에서 도함수 정보를 보다 잘 포착함으로써 추정 성능 향상에 기여함을 입증하였다.
• 평균 자유 에너지($\bar{F}$)는 모델 순서가 진정한 시스템 순서와 일치할 때 포화 상태에 도달하였으며, 이는 $\bar{F}$ 가 모델 순서 선택에 신뢰할 수 있는 지표임을 검증하였다.
• 확장된 DEM 알고리즘은 블랙박스 시나리오에서 정확한 모델 순서를 성공적으로 식별하였으며, 이는 완전한 시스템 식별에 유용함을 확인하였다.
• 실험 결과는 DEM이 로봇 인식에 대해 실세계에서 처음으로 검증된 바 있으며, 실용성과 우수성을 입증하였다.