[논문 리뷰] Learning to Make Predictions In Partially Observable Environments Without a Generative Model

Erik Talvitie, Satinder Singh|arXiv (Cornell University)|2014. 01. 16.

Neural Networks and Applications참고 문헌 41인용 수 14

한 줄 요약

이 논문은 생성형 모델이 필요 없이 부분 관측 환경에서 특정이고 제한된 예측을 학습하는 비생성형, 부분 모델인 예측 프로파일 모델을 소개한다. 학습 문제를 핵심 예측에만 집중하도록 변환함으로써, 기존의 생성형 모델(예: POMDP)이 복잡성으로 인해 실패하는 고차원적이고 비마르코프 성질을 띠는 시스템에서도 효과적인 학습이 가능함을 보여주며, 기존 접근 방식으로는 처리하기 어려운 시나리오에서의 경험적 성공을 입증한다.

ABSTRACT

When faced with the problem of learning a model of a high-dimensional environment, a common approach is to limit the model to make only a restricted set of predictions, thereby simplifying the learning problem. These partial models may be directly useful for making decisions or may be combined together to form a more complete, structured model. However, in partially observable (non-Markov) environments, standard model-learning methods learn generative models, i.e. models that provide a probability distribution over all possible futures (such as POMDPs). It is not straightforward to restrict such models to make only certain predictions, and doing so does not always simplify the learning problem. In this paper we present prediction profile models: non-generative partial models for partially observable systems that make only a given set of predictions, and are therefore far simpler than generative models in some cases. We formalize the problem of learning a prediction profile model as a transformation of the original model-learning problem, and show empirically that one can learn prediction profile models that make a small set of important predictions even in systems that are too complex for standard generative models.

연구 동기 및 목표

• 완전한 생성형 모델이 비현실적인 고차원적이고 부분 관측 가능한 환경에서 모델 학습 문제를 해결하기 위해.
• 완전한 생성형 모델이 필요 없이 제한된 예측 집합만을 학습하는 방법을 개발하기 위해.
• 작은 중요 예측 집합에 집중함으로써 효과적인 의사결정 또는 모델 조합을 가능하게 하기 위해.
• 부분 모델 학습을 원래의 모델 학습 문제로의 변환으로(formalize) 하기 위해.
• 예측 프로파일 모델이 표준 생성형 모델로는 처리할 수 없는 정도로 복잡한 시스템에서 성공적으로 학습될 수 있음을 경험적으로 검증하기 위해.

제안 방법

• 완전한 분포 모델링을 피하기 위해 사전 정의된 예측 집합만 수행하는 비생성형, 부분 모델인 예측 프로파일 모델을 제안한다.
• 원래의 모델 학습 문제를 목표 예측에만 집중하는 제약 조건이 있는 최적화 문제로 변환한다.
• 모든 가능한 미래 상태를 모델링하는 대신, 지정된 결과 집합에 대한 예측 정확도를 직접 최적화하는 학습 프레임워크를 사용한다.
• 모든 가능한 관측치와 행동에 대한 전체 결합 분포를 추정하는 계산 부담을 피하기 위해 구조적 학습 접근법을 활용한다.
• 고차원 입력을 처리하기 위해 함수 근사 기법을 사용하여 과거 기록 기반으로 특정 결과를 예측하는 데에 초점을 맞춘 지도 학습 기법을 적용한다.
• 명시적인 생성형 모델링 없이도 역사에서 목표 예측으로의 매핑을 학습하기 위해 함수 근사와 기울기 기반 최적화에 의존한다.

실험 결과

연구 질문

• RQ1 완전한 생성형 모델을 구축하지 않고도 부분 관측 환경에서 효과적인 모델을 학습할 수 있는가?
• RQ2 핵심 예측 집합에만 국한하여 학습함으로써 복잡성이 크게 감소하면서도 예측 성능를 유지할 수 있는가?
• RQ3 부분 모델 학습을 원래의 모델 학습 문제로의 변환으로(formalize) 할 수 있는가?
• RQ4 생성형 모델이 실패하는 고차원적이고 비마르코프 성질을 띠는 환경에서 예측 프로파일 모델을 성공적으로 훈련시킬 수 있는가?
• RQ5 예측 정확도와 학습 효율성 측면에서 예측 프로파일 모델은 완전한 생성형 모델보다 어떻게 비교되는가?

주요 결과

• 예측 프로파일 모델은 표준 생성형 모델이 비현실적인 고차원적이고 부분 관측 가능한 환경에서 중요한 예측 집합을 성공적으로 학습한다.
• 기존의 POMDP 스타일 생성형 모델링으로는 처리하기 어려운 복잡한 시스템에서도 의미 있는 예측 성능를 달성한다.
• 관련 예측에만 집중함으로써, 전체 상태 분포를 모델링하는 것보다 학습 문제의 복잡도가 크게 단순화되고 확장성이 향상된다.
• 학습 문제의 변환을 통해 전체 상태 분포를 모델링하지 않고도 특정 예측에 대한 직접 최적화가 가능해진다.
• 경험 결과로 예측 프로파일 모델이 복잡하고 비마르코프 성질을 띠는 도메인에서 효과적으로 훈련되고 유용한 예측을 도출할 수 있음을 입증한다.
• 완전한 생성형 모델링이 계산적으로 금기된 상황에서도 실용적인 모델 학습이 가능하게 한다.