[논문 리뷰] A Taxonomy of Similarity Metrics for Markov Decision Processes

Álvaro Visús, Javier García외 1명|arXiv (Cornell University)|2021. 03. 08.

Reinforcement Learning in Robotics참고 문헌 29인용 수 9

한 줄 요약

이 논문은 전이 강화학습을 위한 전이 기술과 작업 특성에 맞게 메트릭 선택을 체계적으로 지원하기 위해 마르코프 결정 과정(MDPs)의 유사도 메트릭을 모델 기반과 성능 기반 카테고리로 분류하는 새로운 분류 체계를 제안한다. 주요 기여는 전이 기술과 작업 특성에 맞게 메트릭을 선택할 수 있도록 하는 체계적인 프레임워크로, 복잡한 환경(예: 시뮬레이션에서 실제 환경으로의 전이)에서 부정적 전이를 줄이고 학습 효율성을 향상시킨다.

ABSTRACT

Although the notion of task similarity is potentially interesting in a wide range of areas such as curriculum learning or automated planning, it has mostly been tied to transfer learning. Transfer is based on the idea of reusing the knowledge acquired in the learning of a set of source tasks to a new learning process in a target task, assuming that the target and source tasks are close enough. In recent years, transfer learning has succeeded in making Reinforcement Learning (RL) algorithms more efficient (e.g., by reducing the number of samples needed to achieve the (near-)optimal performance). Transfer in RL is based on the core concept of similarity: whenever the tasks are similar, the transferred knowledge can be reused to solve the target task and significantly improve the learning performance. Therefore, the selection of good metrics to measure these similarities is a critical aspect when building transfer RL algorithms, especially when this knowledge is transferred from simulation to the real world. In the literature, there are many metrics to measure the similarity between MDPs, hence, many definitions of similarity or its complement distance have been considered. In this paper, we propose a categorization of these metrics and analyze the definitions of similarity proposed so far, taking into account such categorization. We also follow this taxonomy to survey the existing literature, as well as suggesting future directions for the construction of new metrics.

연구 동기 및 목표

• 효율적인 전이 학습을 위한 적절한 유사도 메트릭을 선택하는 데 있어 핵심 과제를 해결하기 위해.
• 기존의 MDP 유사도 메트릭을 그 기초 원리와 계산 기준에 따라 식별하고 분류하기 위해.
• 특정 전이 기술과 작업 유형에 맞게 선택 가능한 메트릭을 지원하는 체계적인 분류 체계를 제공하기 위해.
• 인간의 직관과 작업 구조를 더 잘 반영하는 하이브리드 또는 의미 기반 유사도 메트릭 개발을 위한 향후 연구를 이끌기 위해.
• 전이 학습을 넘어서 교육 곡선 학습, 자동 계획, 시뮬레이션에서 실제 환경으로의 정책 전이 등 응용 분야를 지원하기 위해.

제안 방법

• 모델 기반 메트릭(상태, 행동, 전이, 보상 등의 구조적 MDP 구성 요소 기반)과 성능 기반 메트릭(에이전트 행동 또는 학습 결과 기반)으로 구성된 이중 분류 체계를 제안한다.
• 전이 동역학, 보상 함수 또는 정책 성능을 비교하는 방식과 같은 계산 방법에 따라 기존 메트릭을 분류한다.
• 학습 이전 메트릭(모델 기반)과 학습 중 또는 학습 후 메트릭(성능 기반)을 구분하며, 재사용 수익, 점프스타트, 점근적 성능 등을 포함한다.
• 문헌을 조사하고 MDP 유사도에 관한 연구를 분류 체계에 따라 정리하여 접근 간 격차와 공통점을 부각시킨다.
• 학습 중에 동적으로 메트릭을 갱신하여 유사도 추정의 변화에 따라 탐색 편향을 조정하는 동적 메트릭 적응의 아이디어를 제시한다.
• 인간의 인지와 일치하는 유사도를 반영하기 위해 유사도 메트릭에 의미적 특징(예: 미로 구조, 패키맨의 유령 행동)을 통합할 것을 제안한다.

실험 결과

연구 질문

• RQ1 강화학습에서 전이 학습을 지원하기 위해 MDP 간의 유사도를 체계적으로 분류하는 방법은 무엇인가?
• RQ2 계산 방식, 시기, 활용도 측면에서 모델 기반 메트릭과 성능 기반 메트릭 간의 핵심 차이는 무엇인가?
• RQ3 유사도 메트릭이 실제 강화학습 응용 분야에서 부정적 전이를 줄이고 학습 효율성을 향상시키는 데 얼마나 기여할 수 있는가?
• RQ4 학습 과정 중에 동적으로 유사도를 갱신하여 탐색 전략을 적응시킬 수 있는가?
• RQ5 의미적 또는 도메인 특화된 특징을 어떻게 유사도 메트릭에 통합하여 인간의 직관과의 일치도를 향상시킬 수 있는가?

주요 결과

• 분류 체계는 학습 이전에 계산할 수 있는 구조적 MDP 구성 요소에 기반하는 모델 기반 메트릭과 학습 결과가 필요로 하는 성능 기반 메트릭을 성공적으로 구분한다.
• 재사용 수익, 점프스타트, 점근적 성능와 같은 성능 기반 메트릭은 긍정적 전이의 목표와 더 직접적으로 관련되어 있어 작업 유사도의 효과적인 지표로 더 유용하다.
• 모델 기반 메트릭은 후보 소스 작업의 사전 선별에 유용하지만, 성능에 영향을 주지 않는 구조적 차이로 인해 항상 긍정적 전이를 예측하지는 못한다.
• 학습 중 유사도 계산은 탐색 편향을 동적으로 조정할 수 있어 정적 사전 계산과 후행 평가 사이의 중간 지점이 된다.
• 모든 상황에 적용 가능한 유일한 메트릭은 존재하지 않으며, 최적의 메트릭은 전이 기술과 작업 맥락에 따라 달라지므로 메트릭-기술의 일치가 중요하다.
• 향후 메트릭은 구조적, 성능적, 의미적 특징을 모두 통합하여 인간과 유사한 작업 유사도 인식을 더 잘 반영하고 시뮬레이션에서 실제 환경으로의 정책 전이를 향상시켜야 한다.