[논문 리뷰] Autonomous exploration for navigating in non-stationary CMPs

Pratik Gajane, Ronald Ortner외 2명|arXiv (Cornell University)|2019. 10. 18.

Reinforcement Learning in Robotics참고 문헌 23인용 수 6

한 줄 요약

이 논문은 전이 확률이 돌연로 바뀔 수 있는 비정상적인 제어 마르코프 과정(CMPs)에서 자율 탐색을 위한 메타알고리즘 MNM을 제안한다. 가설 수립 단계와 변화 탐지 단계를 조합함으로써, MNM는 탐색 단계 수—에이전트가 충분한 지식을 확보하지 못하는 단계—가 환경 변화 수 F에 대해 O(F²)로 증가함을 보장하며, 높은 확률로 성립한다.

ABSTRACT

We consider a setting in which the objective is to learn to navigate in a controlled Markov process (CMP) where transition probabilities may abruptly change. For this setting, we propose a performance measure called exploration steps which counts the time steps at which the learner lacks sufficient knowledge to navigate its environment efficiently. We devise a learning meta-algorithm, MNM and prove an upper bound on the exploration steps in terms of the number of changes.

연구 동기 및 목표

• 전이 확률이 돌연하고 예측할 수 없이 변화하는 비정상적인 환경에서 자율 탐색의 과제를 해결한다.
• 에이전트가 효율적으로 탐색할 수 있는 데 필요한 지식이 부족한 시점의 시간 단위를 수량화하는 새로운 성능 지표인 '탐색 단계'를 정의한다.
• 정상적인 CMPs를 위한 기반 알고리즘을 통합하고 환경 변화에 적응할 수 있도록 설계된 메타알고리즘 MNM을 설계한다.
• 비정상성 하에서 탐색 효율성에 대한 이론적 보장을 제공하며, 특히 환경 변화 수 F에 따라 탐색 단계 수를 경계한다.
• 변화 발생 시점과 전이 동역학이 알려지지 않은 상황에서도 강건성을 확보하기 위해, 가설 수립 및 검증 단계로 구성된 이중 전략을 구현한다.

제안 방법

• 가설 수립 단계(환경에 대한 가설을 수립하기 위해 탐색하는 단계)와 검증 단계(가설이 변화 없이 유지되는지 확인하기 위한 단계)를 번갈아 가며 수행하는 메타알고리즘 MNM을 사용한다.
• UcbExplore을 기반 알고리즘으로 통합하여, 신뢰구간 내에서 전이 확률을 추정하고, 점진적으로 도달 가능한 상태를 높은 확률로 발견하도록 보장한다.
• Hoeffding의 부등식을 적용하여, 검증 루프 동안 상태 도착을 탐지하지 못할 확률(거짓 음성)을 경계함으로써 신뢰할 수 있는 변화 탐지 기능을 확보한다.
• 상태 간 부분 순서를 도입하여 점진적으로 탐색 가능한 상태 집합 $\mathcal{S}^{\rightarrow}_L$을 정의함으로써, 탐색이 체계적이고 도달 가능한 방식으로 진행되도록 보장한다.
• 각 라운드가 가설 수립 단계와 검증 단계를 포함하는 다중라운드 프레임워크를 구현하며, 농도 불확실성 불등식을 통해 오류 확률을 제어한다.
• 초기 상태 $s_0$로 복귀를 보장하는 RESET 동작을 활용하여, 각 라운드 간 일관된 가설 검증과 상태 탐색이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 전이 확률이 돌연하고 예측할 수 없이 변화하는 비정상적인 CMP에서 에이전트가 어떻게 효율적으로 탐색하고 이동할 수 있는가?
• RQ2 이러한 동적 환경에서 탐색 시 부족한 지식으로 인한 비용을 가장 잘 측정하는 성능 지표는 무엇인가?
• RQ3 알 수 없는 환경 변화의 수와 시점에도 불구하고 낮은 탐색 단계를 유지할 수 있는 메타알고리즘을 설계할 수 있는가?
• RQ4 정상적인 CMPs를 위한 기반 알고리즘을 비정상 설정에 적응시켜, 이론적 보장을 갖는 방식으로 어떻게 변형할 수 있는가?
• RQ5 비정상적인 CMP에서 F건의 환경 변화가 발생할 경우, 탐색 단계 수의 이론적 상한은 무엇인가?

주요 결과

• 제안된 MNM 메타알고리즘은 총 탐색 단계 수가 F(환경 변화 수)에 대해 높은 확률로 $O(F^2)$ 이하로 경계됨을 보장한다.
• 가설 수립 단계에 대한 탐색 단계 경계는 $\sum_{f=1}^{F} \frac{C_1 S_f A L^3}{\epsilon^3} \left(\log \frac{F^2 S_f A L}{\epsilon \delta} \right)^3$ 이고, 검증 단계에 대한 경계는 $F \cdot \max_f \left[ \frac{2C_1 S_f A L^3}{\epsilon^3} \left(\log \frac{F^2 S_f A L}{\epsilon \delta} \right)^6 \right]$ 로 표현된다.
• 돌연한 변화가 발생하더라도, L 단계 이내로 도달 가능한 모든 점진적 탐색 가능한 상태가 높은 확률로 발견됨을 보장한다.
• Hoeffding의 부등식을 활용함으로써, 상태 또는 변화를 탐지하지 못할 확률이 $\delta'$ 이하로 경계되며, 이는 신뢰할 수 있는 가설 검증을 가능하게 한다.
• 이론적 분석 결과, 탐색 단계 수가 F, L 및 상태 수에 대해 다항식 수준으로 유지됨을 확인하였으며, 합리적인 가정 하에서 확장 가능함을 보여준다.
• 이 프레임워크는 일반적이며, 정상적인 CMPs를 위한 기반 알고리즘이라면 어떤 것이라도 적용 가능하므로, 기존 탐색 파이프라인에 모듈러하게 통합할 수 있다.