[논문 리뷰] Improving the Speed of Response of Learning Algorithms Using Multiple Models

Kumpati S. Narendra, Snehasis Mukhopadyhay외 1명|arXiv (Cornell University)|2015. 10. 16.

Neural Networks and Applications참고 문헌 1인용 수 8

한 줄 요약

이 논문은 강화학습에서 학습 속도를 가속화하기 위해 다수의 모델을 사용하는 것을 제안한다. 특히 가장 단순한 학습 체계인 학습 자동기계에서 이 방법을 구현한다. 환경 행동에 대한 다수의 모델을 유지하고 동적으로 선택함으로써, 기존의 단일 모델 알고리즘보다 더 빠르고 부드러운 수렴을 달성한다. 복잡한 마르코프 결정 과정과 비선형 시스템으로의 확장도 제안된다.

ABSTRACT

This is the first of a series of papers that the authors propose to write on the subject of improving the speed of response of learning systems using multiple models. During the past two decades, the first author has worked on numerous methods for improving the stability, robustness, and performance of adaptive systems using multiple models and the other authors have collaborated with him on some of them. Independently, they have also worked on several learning methods, and have considerable experience with their advantages and limitations. In particular, they are well aware that it is common knowledge that machine learning is in general very slow. Numerous attempts have been made by researchers to improve the speed of convergence of algorithms in different contexts. In view of the success of multiple model based methods in improving the speed of convergence in adaptive systems, the authors believe that the same approach will also prove fruitful in the domain of learning. In this paper, a first attempt is made to use multiple models for improving the speed of response of the simplest learning schemes that have been studied. i.e. Learning Automata.

연구 동기 및 목표

• 강화학습을 포함한 기계학습 알고리즘에서 잘 알려진 느린 수렴 문제를 해결한다.
• 적응 제어에서 효과가 입증된 다수의 모델 기반 접근 방식이 학습 시스템에서 학습 속도를 향상시키는 데에도 동일하게 효과가 있는지 조사한다.
• 원리의 기본 사례로 가장 단순한 학습 체계인 학습 자동기계를 집중적으로 다룬다.
• 다수의 모델 프레임워크를 더 복잡한 동적 환경, 즉 마르코프 결정 과정과 연속 상태 시스템으로 확장한다.
• 다수의 모델을 모델 기반 및 모델리스 학습 체계에 적용하기 위한 이론적 및 시뮬레이션 기반 기초를 제공한다.

제안 방법

• 학습 자동기계와 무작위 환경 간의 피드백 루프를 사용하며, 행동는 추정된 보상 확률에 기반하여 선택된다.
• 시스템에 대한 다양한 가정을 반영하기 위해 환경 반응의 다수의 모델(즉, 보상 확률 d_i의 다수의 추정치)을 유지한다.
• 이전 성능 기반으로 최고 성능을 보인 모델을 동적으로 선택하거나 조합하여 행동 선택을 이끌어낸다.
• 간접 적응 제어에서 사용되는 것과 유사한 모델 선택 또는 조합 전략을 적용하여 수렴 속도를 향상시킨다.
• 다수의 모델을 사용하여 전이 및 보상 행렬을 추정하고, 그 중 최고의 모델을 선택하여 동적 프로그래밍을 수행함으로써 이산 상태 MDPs로 프레임워크를 확장한다.
• 연속 상태 시스템의 경우, 다양한 파라미터를 가진 식별 모델의 집합(f̂_i)을 사용하여 상태 진화를 예측하고, 이를 조합함으로써 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 모델 접근 방식에 비해 다수의 모델 기반 전략이 학습 자동기계의 반응 시간을 크게 줄일 수 있는가?
• RQ2 적응 제어에서 사용되는 모델 선택 또는 조합 기법은 강화학습 시스템에서 학습을 가속화하는 데 어떻게 응용될 수 있는가?
• RQ3 정적 환경와 동적 환경에서 다수의 모델 학습의 수렴 특성은 각각 어떻게 다른가?
• RQ4 모델 기반 접근 방식이 전이 및 보상 역학이 알려지지 않은 마르코프 결정 과정으로 일반화될 수 있는가?
• RQ5 다양한 구조나 파rameter화를 가진 이질적 모델을 사용할 경우, 비선형 동적 시스템에서 학습 속도와 정확도에 어떤 영향을 미치는가?

주요 결과

• 단일 모델 알고리즘에 비해 다수의 모델 접근 방식은 학습 자동기계에서 수렴 속도와 부드러움을 크게 향상시킨다.
• 보상 확률에 대한 다양한 가정을 유지하고 이를 선택함으로써 최적 행동(α_opt)을 더 빨리 식별할 수 있다.
• 시뮬레이션 결과는 다수의 모델 하에서의 수렴 행동이 뚜렷이 뛰어나며, 진동이 감소하고 더 빨리 안정화됨을 보여준다.
• 이 프레임워크는 다수의 모델로 전이 및 보상 행렬을 추정하고 최적의 모델을 선택하여 정책 최적화를 가속화할 수 있는 마르코프 결정 과정으로 확장 가능하다.
• 연속 상태 시스템에서는 다수의 식별 모델(f̂_i)을 조합함으로써 단일 모델보다 더 정확한 상태 예측이 가능해지고, 이는 학습 성능 향상에 기여한다.
• 이 방법은 모델 기반 및 모델리스 학습 모두에 적용 가능하므로, 다양한 강화학습 문제에서 학습을 가속화할 수 있는 광범위한 잠재력을 지닌다.