[논문 리뷰] Hidden Markov Models derived from Behavior Trees

Blake Hannaford|arXiv (Cornell University)|2019. 07. 23.

Time Series Analysis and Forecasting참고 문헌 27인용 수 4

한 줄 요약

이 논문은 확률적 정보를 보완한 행동 트리(Behavior Trees, BTs)와 은닉 마르코프 모델(Hidden Markov Models, HMMs) 사이에 새로운 수학적 관계를 수립하여, 소음이 있는 작업 기반 시스템에서 상태 추정 및 파rameter 식별을 위한 기존의 HMM 알고리즘—예를 들어 Baum-Welch 및 Viterbi—의 적용을 가능하게 한다. 주요 기여는 확률적으로 보완된 행동 트리에서 고유한 HMM을 유도하는 체계적인 방법을 제시함으로써, 소음이 있는 관측치로부터 인간 또는 로봇의 작업 성능을 견고하게 분석할 수 있도록 한다.

ABSTRACT

Behavior trees are rapidly attracting interest in robotics and human task-related motion tracking. However no algorithms currently exist to track or identify parameters of BTs under noisy observations. We report a new relationship between BTs, augmented with statistical information, and Hidden Markov Models. Exploiting this relationship will allow application of many algorithms for HMMs (and dynamic Bayesian networks) to data acquired from BT-based systems.

연구 동기 및 목표

• 소음이 있는 관측치 하에서 행동 트리의 추적 또는 파rameter 식별을 위한 알고리즘이 부족한 문제를 해결하기 위해.
• 확률적으로 보완된 행동 트리와 은닉 마르코프 모델 간의 공식적 관계를 수립하기 위해.
• Baum-Welch 및 Viterbi와 같은 잘 알려진 HMM 알고리즘을 행동 트리 기반 시스템에서 상태 추정 및 시스템 식별에 활용할 수 있도록 하기 위해.
• 관측치가 소음에 의해 오염되었을 때 인간 또는 로봇의 작업 성능에서 시간적 시계열 데이터를 분석할 수 있도록 하기 위해.
• HMM 및 동적 베이지안 네트워크의 적용 범위를 행동 트리로 모델링된 시스템으로 확장하기 위해.

제안 방법

• 통계적 또는 사전 확률 정보를 행동 트리에 보완하여 보완된 행동 트리(ABT)를 구성하기 위해.
• ABT의 노드와 전이를 HMM의 상태와 전이 확률로 매핑하여 ABT에서 고유한 은닉 마르코프 모델(HMM)을 유도하기 위해.
• ABT의 발화 확률(Bij)과 전이 확률(Aij)을 사용하여 HMM의 발화 행렬과 전이 행렬을 정의하기 위해.
• 표준 HMM 알고리즘을 적용하기 위해: Viterbi 알고리즘으로 상태 시퀀스 복원, Baum-Welch 알고리즘으로 파rameter 식별.
• HMM의 복원 가능성 평가를 위해 분산 측도(예: 젠슨-쇼너 분산)를 사용하기 위해.
• 통제된 편향과 다양한 수준의 상태 투명도를 가진 6상태 및 16상태 ABT에서 생성된 시뮬레이션 데이터를 사용하여 방법을 검증하기 위해.

실험 결과

연구 질문

• RQ1 확률적으로 보완된 행동 트리는 고유한 은닉 마르코프 모델로 공식적으로 매핑될 수 있는가?
• RQ2 Baum-Welch 및 Viterbi와 같은 표준 HMM 알고리즘이 보완된 행동 트리에서 생성된 데이터에 적용되었을 때 성능은 어떠한가?
• RQ3 모델 크기와 상태 투명도(즉, 상태의 구분 가능성)가 파rameter 식별 및 상태 복원 정확도에 미치는 영향은 무엇인가?
• RQ4 발화 분포 간의 분산 측도가 행동 트리에서 유도된 HMM의 성공적인 복원 가능성 예측에 어떻게 기여하는가?
• RQ5 유도된 HMM 프레임워크는 소음이 있는 실제 작업 성능 데이터에서 견고한 시스템 식별 및 상태 추정을 지원할 수 있는가?

주요 결과

• Jensen-Shannon 분산(JSD)이 높을 경우(JSD ≈ 1.0), Viterbi 알고리즘이 거의 완벽한 상태 시퀀스 복원을 달성하였으며, 생성 모델과 복원 모델 간의 파라미터 불일치가 심할지라도 성능에 영향을 거의 받지 않았다.
• Baum-Welch 파라미터 식별에서는 생성 모델과 복원 모델 간의 차이가 클수록 오차가 커졌으며, 수렴 후 RMS 오차가 0.2에서 0.6 사이로 나타났고, 모델 편향만 발생했을 경우의 0.1보다 높았다.
• 6상태 모델에서는 16상태 모델보다 파라미터 추정 오차가 낮았으며, 특히 상태가 가림된 경우(R=0)에 더 나은 성능을 보였다. 이는 더 작은, 더 복잡도가 낮은 모델에서 성능이 뛰어나다는 것을 시사한다.
• 상태가 투명한 경우(R=5)에 파라미터 추정이 가장 정확했으며, 명확한 전이로 인해 추정 불확실성이 감소하였다.
• 라벨이 부여된 데이터로부터 계산된 분산 측도는 복원 성능을 효과적으로 예측할 수 있었으며, 높은 분산이 더 나은 상태 시퀀스 복원과 관련이 있었다.
• 이 방법은 행동 트리 기반 시스템에서 HMM 및 동적 베이지안 네트워크 알고리즘의 활용을 가능하게 하여, 로봇 공학 및 인간 운동 추적 분야의 작업 모델링 분석 도구를 크게 확장시켰다.