[논문 리뷰] Learning to Track Dynamic Targets in Partially Known Environments

Heejin Jeong, Hamed Hassani외 3명|arXiv (Cornell University)|2020. 06. 17.

Machine Learning and Algorithms참고 문헌 48인용 수 8

한 줄 요약

이 논문은 부분적으로 알려진 환경에서의 능동적 타겟 추적을 위한 통합적인 딥 강화학습 정책, Active Tracking Target Network (ATTON)을 제안한다. 상호정보량 기반의 정보이론적 보상으로 구성된 MDP로 문제를 공식화함으로써, ATTON은 시야 내 추적, 탐색, 항로 계획을 동시에 학습하며, 초기 믿음과 타겟 동역학에 대한 불확실성에도 불구하고, 기존의 검색 기반 방법보다 예측 불가능하거나 비정상적이거나 잘 모델링되지 않은 타겟을 더 잘 추적한다.

ABSTRACT

We solve active target tracking, one of the essential tasks in autonomous systems, using a deep reinforcement learning (RL) approach. In this problem, an autonomous agent is tasked with acquiring information about targets of interests using its onboard sensors. The classical challenges in this problem are system model dependence and the difficulty of computing information-theoretic cost functions for a long planning horizon. RL provides solutions for these challenges as the length of its effective planning horizon does not affect the computational complexity, and it drops the strong dependency of an algorithm on system models. In particular, we introduce Active Tracking Target Network (ATTN), a unified RL policy that is capable of solving major sub-tasks of active target tracking -- in-sight tracking, navigation, and exploration. The policy shows robust behavior for tracking agile and anomalous targets with a partially known target model. Additionally, the same policy is able to navigate in obstacle environments to reach distant targets as well as explore the environment when targets are positioned in unexpected locations.

연구 동기 및 목표

• 장기적인 계획 수평에서 높은 계산 복잡도를 겪고 정확한 시스템 모델에 크게 의존하는 전통적인 능동적 타겟 추적 방법의 한계를 해결한다.
• 타겟 모델이나 초기 믿음이 정확하지 않을 경우 발생하는 단기적 계획 문제와 성능 저하 문제를 극복한다.
• 타겟이 예측 불가능하게 움직이거나 초깃위치가 잘못되었을 수 있는 부분적으로 알려진 환경에서도 강건한 타겟 추적을 가능하게 한다.
• 시야 내 추적, 장애물 통과 항로 계획, 그리고 알려지지 않은 타겟 위치 탐색을 동시에 처리할 수 있는 단일 통합 강화학습 정책을 개발한다.
• 정확한 시스템 모델에 대한 의존도를 줄이기 위해, 불확실한 타겟 동역학과 완벽하지 않은 사전 지식에 일반화할 수 있는 정책을 학습한다.

제안 방법

• 타겟 상태와 측정 이력 간의 향후 상호정보량의 할인 합을 보상 함수로 사용하는 MDP로 능동적 타겟 추적 문제를 공식화한다.
• 목표 위치와 동역학에 대한 불확실성을 표현하기 위해 칼만 필터를 통해 유지되는 믿음 상태를 강화학습 상태에 통합한다.
• 에고세트릭 센서 시각과 방문 빈도 지ap을 입력 이미지로 사용하여 다양한 훈련 환경 간의 일반화를 가능하게 한다.
• 에이전트 위치, 믿음 상태, 시각적 관측을 포함한 상태를 사용하여 딥 Q-네트워크 정책을 엔드 투 엔드로 훈련한다.
• 지도 정보와 방문 빈도를 통합하여 미스캔 영역 탐색과 효율적인 항로 계획을 장려한다.
• 정보 수확을 장려하는 보상 함수를 사용하여 명시적인 계획 수평 의존 없이 장기적이고 비단기적인 행동을 유도한다.

실험 결과

연구 질문

• RQ1 단일 딥 강화학습 정책이 능동적 타겟 추적에서 시야 내 추적, 항로 계획, 탐색을 통합적으로 효과적으로 처리할 수 있는가?
• RQ2 에이전트의 믿음 모델이 진짜 타겟 동역학과 다를 경우, 예를 들어 모델 불일치 상황에서 제안된 강화학습 정책의 성능은 어떠한가?
• RQ3 초기 믿음이 정확하지 않거나 타겟 운동이 확률적일 경우, 정책이 강건한 행동을 학습할 수 있는가?
• RQ4 통합 정책이 전통적인 검색 기반 계획 방법에 비해 추적 성공률 및 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ5 믿음 상태와 방문 빈도 지도를 사용할 경우, 부분적으로 알려진 환경에서 탐색과 항로 계획에 얼마나 기여하는가?

주요 결과

• ATTON 정책은 기존의 검색 기반 계획 방법에 비해 예측 불가능하거나 비정상적인 타겟을 훨씬 더 잘 추적하며, 믿음 업데이트에 사용된 타겟 모델이 진짜 모델과 다를 경우 특히 두드러진 성능 향상을 보였다.
• 장애물이 많은 환경을 효과적으로 통과하여 먼 거리의 타겟에 도달하는 데 성공했으며, 정확한 사전 지식 없이도 강건한 경로 계획을 수행했다.
• 타겟 위치에 대한 초기 믿음이 정확하지 않을 경우, 정책은 미지의 영역을 탐색하여 기존 방법이 완전히 실패하는 상황에서도 타겟을 발견하는 데 성공했다.
• 비정상적인 타겟 운동과 부분 관측 조건에서도 정보이론적 목표에 기반한 비단기적 접근 덕분에 다양한 시나리오에서 뛰어난 성능 유지를 보였다.
• 방문 빈도 지도와 에고세트릭 관측을 사용함으로써, 정책은 다양한 환경 간에 일반화할 수 있었으며 특정 레이아웃에 과적합되는 것을 방지했다.
• 정보이론적 보상 덕분에 명시적인 탐색 보상 없이도 미탐색 영역을 향해 자동으로 이동하여 불확실성을 줄이는 행동을 자연스럽게 학습했다.