[논문 리뷰] Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments

Yi Sun, Faustino Gomez외 1명|arXiv (Cornell University)|2011. 03. 29.

Machine Learning and Algorithms참고 문헌 8인용 수 27

한 줄 요약

이 논문은 정보 수득을 학습 진행도 측정 지표로 사용하여 동적 환경에서 최적의 베이지안 탐색 전략을 제안한다. 탐색을 순차적 결정 문제로 공식화함으로써, 즉각적이고 장기적인 정보 수득을 균형 잡는 궁금증(Q) 값이 유도되며, 동적 프ogramming이 유한 MDP에서 최적 정책을 효과적으로 근사할 수 있음을 증명한다. 이는 무작위, 탐욕적, Q-학습 기반 탐색 전략보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

To maximize its success, an AGI typically needs to explore its initially unknown world. Is there an optimal way of doing so? Here we derive an affirmative answer for a broad class of environments.

연구 동기 및 목표

• 알 수 없는 동적 환경에서 탐색 효율성이 학습 성공에 직접적인 영향을 미치는 최적의 행동 선택 문제를 해결하기 위해.
• 환경 매개변수의 사전 분포와 사후 분포 간의 KL 발산을 통해 샤논 정보 수득으로서의 학습 진행도를 공식화하기 위해.
• 시간에 따라 누적 기대 정보 수득을 최대화하는 이론적으로 탄탄한 탐색 전략을 도출하기 위해.
• 유한 MDP에서 최적의 베이지안 탐색이 동적 프로그래밍을 통해 효과적으로 근사될 수 있음을 보여주기 위해.
• 제안된 방법을 제어된 MDP 환경에서 기존의 방법들인 무작위, 탐욕적, Q-학습 기반 탐색과 비교하기 위해.

제안 방법

• 환경을 사전 분포 p(θ)를 가진 잠재 매개변수 θ로 모델링하고, 관측 조건부 모델 p(o|ha;θ)를 사용하여 벨리프를 베이지안 업데이트로 개선한다.
• 정보 수득을 사전 분포와 사후 분포 간의 KL 발산으로 정의하여 역사 h에서 h′으로의 학습 진행도를 측정한다.
• 역사 h를 고려했을 때 행동 a를 취했을 때의 기대 정보 수득 g(a|h)로 궁금증(Q) 값을 도입함으로써 순차적 결정을 가능하게 한다.
• 정보 수득의 재귀적 분해를 도출하여 최적 정책 계산을 위한 동적 프로그래밍 공식화를 지원한다.
• 기대 정보 수득을 보상 신호로 사용하여 정책 반복을 적용하여 최적의 베이지안 탐색 정책을 근사한다.
• MDP에서 전이 확률에 대한 딜레트 분포를 사용하여 베이지안 추론과 정보 수득 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 에이전트는 동적이고 부분적으로 알려진 환경에서 누적 기대 정보 수득을 최대화하기 위해 최적으로 행동을 선택할 수 있는가?
• RQ2 정보 수득은 시간에 따라 어떻게 공식화되고 분해되어 순차적 결정을 위한 탐색에 기여할 수 있는가?
• RQ3 베이지안 탐색의 맥락에서 즉각적 정보 수득과 장기적 정보 수득 간의 관계는 어떠한가?
• RQ4 유한 MDP에서 최적의 베이지안 탐색 정책은 어느 정도 동적 프로그래밍을 통해 근사될 수 있는가?
• RQ5 정보 수득 축적 측면에서 제안된 방법은 랜덤, 탐욕적, Q-학습 기반 탐색 전략과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 동적 프로그래밍을 통한 최적의 베이지안 탐색 근사는 초기 단계의 정보 수득 축적에서 무작위, 탐욕적, Q-학습 기반 탐색보다 뚜렷이 뛰어나다.
• 즉각적 정보 수득을 보상으로 사용하는 Q-학습은 결정론적 전이에서 초기 관측 이후 정보 수득이 급격히 감소하기 때문에 효과적인 탐색을 하지 못한다.
• 탐욕적 탐색 전략은 랜덤보다는 나아지지만 장기적 계획이 부족하여 여전히 DP 근사보다 성능이 열 劣하다.
• 제안된 궁금증(Q) 값 공식화는 즉각적 정보 수득과 미래 정보 수득 사이의 원칙적인 균형을 가능하게 하여 이전 접근 방식의 핵심적인 소외를 시정한다.
• 두 클러스터와 60개 상태를 가진 MDP와 50개 상태의 복도에서, DP 기반 방법은 4,000단계 이내에 가장 높은 누적 정보 수득을 달성했다.
• 이론적 프레임워크는 동적 환경에서 최적의 베이지안 탐색이 원칙적으로 가능하며, 유한 MDP에서는 동적 프로그래밍을 통해 근사 가능하다고 밝혔다.