[논문 리뷰] DualSMC: Tunneling Differentiable Filtering and Planning under Continuous POMDPs

Yunbo Wang, Bo Liu외 5명|arXiv (Cornell University)|2019. 09. 28.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 6

한 줄 요약

DualSMC는 상태 추정과 불확실성 인식 계획을 동시에 최적화하는 가분성 있고 입자 기반의 프레임워크를 제안한다. 이는 실수 상태 공간에서의 민감도 추정을 위한 SMC 프로세스와 미래 경로 공간에서의 계획을 위한 SMC 프로세스를 함께 사용한다. 이는 시각 입력이 있는 복잡한 부분 관찰 환경, 예를 들어 3D 내비게이션과 로봇 제어에서 최신 기술 수준의 성능을 달성하면서도 입자 기반의 민감도 표현과 적대적 훈련을 통해 해석 가능성과 정확성을 유지한다.

ABSTRACT

A major difficulty of solving continuous POMDPs is to infer the multi-modal distribution of the unobserved true states and to make the planning algorithm dependent on the perceived uncertainty. We cast POMDP filtering and planning problems as two closely related Sequential Monte Carlo (SMC) processes, one over the real states and the other over the future optimal trajectories, and combine the merits of these two parts in a new model named the DualSMC network. In particular, we first introduce an adversarial particle filter that leverages the adversarial relationship between its internal components. Based on the filtering results, we then propose a planning algorithm that extends the previous SMC planning approach [Piche et al., 2018] to continuous POMDPs with an uncertainty-dependent policy. Crucially, not only can DualSMC handle complex observations such as image input but also it remains highly interpretable. It is shown to be effective in three continuous POMDP domains: the floor positioning domain, the 3D light-dark navigation domain, and a modified Reacher domain.

연구 동기 및 목표

• 실수 상태 공간에서 상태 불확실성이 의사결정 품질에 큰 영향을 미치는 연속적 POMDP 환경에서 부분 관찰 하에 계획을 수행하는 데 도전하는 것.
• 입자 기반 민감도 표현을 통해 관측되지 않은 상태를 유지하는 가분성 있고 해석 가능한 프레임워크를 개발하는 것.
• 공유된 역학 모델과 민감도 전파를 통해 필터링과 계획을 통합하여 샘플 효율성과 정책 성능을 향상시키는 것.
• 이미지와 같은 복잡한 관측을 통해 엔드 투 엔드 훈련을 가능하게 하면서도 입자 기반 표현을 통해 해석 가능성과 유지보수성을 유지하는 것.
• 어려운 연속적 POMDP 환경에서, 특히 시각 내비게이션과 로봇 제어 작업을 포함한 성능을 벤치마크하고 초월하는 성능을 입증하는 것.

제안 방법

• DualSMC는 두 개의 결합된 순차적 몬테카를로(SMC) 프로세스를 사용한다: 실수 상태 공간에서 입자를 사용하는 상태 추정 필터와 미래 경로 공간에서 입자를 샘플링하는 계획 SMC.
• 관측치와의 일관성에 기반해 입자 가중치를 개선하기 위해 판별기(discriminator)를 활용하는 적대적 입자 필터를 도입한다. 이는 필터링 정확도를 향상시킨다.
• 계획자는 예측 보상과 상태-행동 전이를 기반으로 경로 가중치를 계산하는 가분성 있는 Q함수와 정책 네트워크를 사용하며, 불확실성 인식 기반의 행동 선택을 수행한다.
• 필터에서 도출된 최상위 상태 입자들이 계획자에 대한 초기 민감도로 사용되며, 모델은 매 단계에서 재계획을 수행함으로써 모델 예측 제어를 수행한다. 이때 실행되는 행동은 첫 번째 행동 뿐이다.
• 전이 모델은 필터링과 계획 모두에 공유되며, 전체 시스템은 필터에 대한 지도 학습 신호와 계획자에 대한 강화 학습을 통해 엔드 투 엔드로 훈련된다.
• 민감도 전파 메커니즘은 입자 가중치와 상태 전이를 통해 필터와 계획자를 연결하여 불확실성 인식 의사결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시각 입력과 같은 복잡한 관측이 있는 연속적 POMDP에서, 가분성 있고 입자 기반의 필터링 방법이 상태 추정 성능을 향상시킬 수 있는가?
• RQ2 입자 기반 민감도 표현을 활용해 연속적 POMDP에서 계획을 불확실성 인식적으로 어떻게 개선할 수 있는가?
• RQ3 적대적 훈련이 부분 관찰 환경에서 가분성 있는 입자 필터의 강건성과 정확도를 향상시킬 수 있는가?
• RQ4 공유된 역학 모델이 필터링과 계획의 통합에서 샘플 효율성과 성능 향상에 얼마나 기여하는가?
• RQ5 DualSMC 프레임워크는 기존의 딥 강화 학습 및 POMDP 방법에 비해 연속 제어 작업에서 성능 및 해석 가능성 측면에서 어떻게 비교되는가?

주요 결과

• DualSMC는 3가지 연속적 POMDP 벤치마크에서 최신 기술 수준의 성능을 달성했다: 바닥면 위치 조정, 3D 어둠컴퍼니어 내비게이션, 수정된 Reacher 환경.
• 풍부한 시각 관측치와 장기적인 부분 관찰이 요구되는 3D 어둠컴퍼니어 내비게이션 작업에서 기존 방법을 초월하는 성능을 보였다.
• 적대적 입자 필터는 특히 고불확실성 상황에서 표준 가분성 입자 필터보다 민감도 정확도를 크게 향상시켰다.
• 최상위 상태 입자들을 계획의 초기 민감도로 통합함으로써 수렴 속도 향상과 더불어 더 견고한 행동 선택이 가능해졌다.
• 매 단계에서 재계획을 수행하는 모델 예측 제어 방식은 모델 정확도가 떨어지는 상황에서도 적응성과 안정성을 확보했다.
• 입자 기반 민감도 상태를 통해 높은 해석 가능성과 유지보수성을 유지하여 실패 분석 및 모델 디버깅이 가능했다.