[논문 리뷰] Simulation Results on Selector Adaptation in Behavior Trees

Blake Hannaford, Danying Hu외 2명|arXiv (Cornell University)|2016. 06. 29.

Artificial Intelligence in Games참고 문헌 5인용 수 14

한 줄 요약

이 논문은 센서 조건부 성공 확률에 기반해 자동으로 순서를 재정렬하는 적응형 행동 트리(BT) 선택자 노드를 제안하며, 이는 작업 성능을 크게 향상시킨다. 시뮬레이션 결과, 빈도주의 성공 확률 추정치를 센서 특징에 조건화하는 것이 정적 또는 탐욕적 선택보다 우수하며, 탐욕적 선택자도 효과적으로 작동하기 위해 사전 훈련이 필요하다는 것을 보여준다.

ABSTRACT

Behavior trees (BTs) emerged from video game development as a graphical language for modeling intelligent agent behavior. However as initially implemented, behavior trees are static plans. This paper adds to recent literature exploring the ability of BTs to adapt to their success or failure in achieving tasks. The "Selector" node of a BT tries alternative strategies (its children) and returns success only if all of its children return failure. This paper studies several means by which Selector nodes can learn from experience, in particular, learn conditional probabilities of success based on sensor information, and modify the execution order based on the learned iformation. Furthermore, a "Greedy Selector" is studied which only tries the child having the highest success probability. Simulation results indicate significantly increased task performance, especially when frequentist probability estimate is conditioned on sensor information. The Greedy selector was ineffective unless it was preceded by a period of training in which all children were exercised.

연구 동기 및 목표

• 경험에 기반해 적응하는 방식으로 로봇 작업에서 행동 트리(BT) 선택자 노드의 성능을 햖스키기 위해.
• 성공 확률 추정치를 센서 정보에 조건화함으로써 BT 작업 성능이 향상되는지 조사하기 위해.
• 가장 높은 확률을 가진 자식 노드를 우선순위로 선택하는 탐욕적 선택자의 효과성을 평가하기 위해.
• 복잡한 작업에서 적응형 선택자가 정적 또는 훈련되지 않은 선택자보다 뛰어난 조건을 규명하기 위해.
• 훈련 기간이 탐욕적 선택자 행동의 효과성을 어떻게 영향을 미치는지 탐구하기 위해.

제안 방법

• 논문은 빈도주의 추정치 $ P_{Si} = \frac{\#\text{성공 횟수}}{T_i} $ 를 사용하여 학습된 성공 확률에 기반해 자동으로 자식 행동의 순서를 재정렬하는 선택자 노드를 모델링한다.
• 성공 확률은 센서 데이터에서 유도된 이산적 특징 벡터 $ F(t) $ 에 조건화되어, 맥락 인식 가능한 순서 재정렬을 가능하게 한다.
• 다양한 순서 재정렬 전략을 평가한다: $ P(S) $, $ P(S|F) $, 비용, 유용성 기반 순서 정렬이며, 유용성은 비용의 음수로 측정된다.
• 모든 자식 노드를 훈련 단계 동안 실행한 후에만 가장 높은 추정 성공 확률을 가진 자식 노드만 선택하는 탐욕적 선택자를 구현한다.
• 성능은 평균 틱 수, 비용, 실패 수, 유용성으로 측정되며, 두 가지 작업(지형 주행 및 소방 작업)에서 시뮬레이션을 수행한다.
• 성공 및 실패 행동의 클러스터링을 향상시키기 위해 특징 공간의 차원 수를 특이값 분해 또는 벡터 양자화 기법을 통해 감소시킨다.

실험 결과

연구 질문

• RQ1 센서에서 유도된 특징에 기반해 성공 확률 추정치를 조건화하는 것이 행동 트리 선택자 성능을 향상시키는가?
• RQ2 가장 높은 확률을 가진 자식 노드만 선택하는 탐욕적 선택자는 다른 적응 전략에 비해 어떻게 성능을 내는가?
• RQ3 사전 훈련 단계가 탐욕적 선택자의 효과성에 어떤 영향을 미치는가?
• RQ4 비용 및 유용성 기반 순서 정렬 전략이 복잡한 작업에서 확률 기반 순서 정렬과 비교해 어떻게 다른가?
• RQ5 센서 조건부 확률 추정이 정적 또는 훈련되지 않은 선택자보다 더 강건하고 효율적인 작업 완료를 이끌어내는가?

주요 결과

• 센서 정보에 기반한 성공 확률 추정치($ P(S|F) $)는 지형 주행 작업에서 평균 틱 수가 가장 낮은 18로 가장 높은 성능을 기록했다.
• 사전 훈련을 거친 탐욕적 선택자(S2g25)는 소방 작업에서 평균 167 틱으로 가장 뛰어난 성능을 보였으며, 다른 모든 선택자보다 뛰어났다.
• 훈련되지 않은 탐욕적 선택자는 소방 작업에서 평균 900 틱과 100% 실패율을 기록해, 훈련 단계의 필요성을 강력히 보여주었다.
• 소방 작업 시나리오에서 워크리밋을 120에서 150으로 늘리면 비행 전환 비율이 57%에서 0%로 감소했으며, 더 비싼 비행 동작이 증가해 평균 비용이 196 틱 증가했다.
• 유용성 또는 비용 순서 정렬을 사용한 선택자는 $ P(S|F) $ 기반 순서 정렬보다 성능이 열 劣하였으며, 특히 음수 비용 모드에서는 더욱 뚜렷했다. 이는 선형 유용성 측정 방식이 성능 최적화와 잘 맞지 않을 수 있음을 시사한다.
• 단순 선택자(고정 순서)는 모든 적응 전략보다 일관되게 열 劣했으며, 지형 작업에서 평균 228 틱과 평균 245 비용을 기록했다.