[논문 리뷰] Learning to Compose Skills

Himanshu Sahni, Saurabh Kumar외 2명|arXiv (Cornell University)|2017. 11. 30.

Reinforcement Learning in Robotics참고 문헌 20인용 수 20

한 줄 요약

이 논문은 선수기반 기술을 스킬-상태 임베딩과 학습 가능한 조합 함수를 사용하여 조합하는 미분 가능 프레임워크인 ComposeNet을 제안한다. 이를 통해 선수기반 기술의 조합을 통해 복잡한 작업을 효율적으로 학습할 수 있으며, 선형 시간 논리(LTL) 사양을 통해 실현 가능하고 의미적으로 유의미한 조합이 가능하다. 이 방법은 새로운 기술 조합에 대해 제로샷 일반화를 달성하고, 기술 트렁크의 엔드 투 엔드 훈련 또는 미세조정보다 뛰어난 성능을 보인다.

ABSTRACT

We present a differentiable framework capable of learning a wide variety of compositions of simple policies that we call skills. By recursively composing skills with themselves, we can create hierarchies that display complex behavior. Skill networks are trained to generate skill-state embeddings that are provided as inputs to a trainable composition function, which in turn outputs a policy for the overall task. Our experiments on an environment consisting of multiple collect and evade tasks show that this architecture is able to quickly build complex skills from simpler ones. Furthermore, the learned composition function displays some transfer to unseen combinations of skills, allowing for zero-shot generalizations.

연구 동기 및 목표

• 기존의 계층적 강화학습이 기술을 다루는 데서의 유연성과 효율성의 한계를 해결하기 위해.
• 학습 가능한 조합 함수를 통해 새로운 기술 조합에 대해 제로샷 일반화를 가능하게 하기 위해.
• 다양한 조합된 작업들 간에 사전 훈련된 기술 정책을 재사용함으로써 샘플 복잡도를 감소시키기 위해.
• 스킬-상태 임베딩이 효과적인 조합을 위해 충분한 작업 관련 정보를 포함하고 있음을 입증하기 위해.
• 재귀적 조합이 복잡한 행동의 계층적 학습을 가능하게 함을 보여주기 위해.

제안 방법

• 스킬 정책은 스킬-상태 임베딩을 출력하는 특화된 아키텍처를 사용하여 훈련되며, 이는 단일의 미분 가능한 레이어를 통해 상태에 따라 달라지는 정책 정보를 캡처한다.
• 조합 함수는 다수의 스킬 임베딩을 입력으로 받아 복합 작업을 위한 정책을 출력하며, 정책 기반 강화학습 방법을 통해 엔드 투 엔드로 훈련된다.
• 작업는 선형 시간 논리(LTL)를 사용하여 사양화되며, 'A를 수집하면서 B를 피하는 것'이나 'A를 수집한 다음 B를 수집하는 것'과 같은 표현력 있고 의미 있는 조합이 가능하다.
• 프레임워크는 재귀적 조합을 지원하여 간단한 기반 기술들로부터 계층적 기술 구조를 구축할 수 있다.
• 제거 또는 대체 실험을 통해 스킬-상태 임베딩과 조합 레이어의 필요성을 검증하였으며, 둘 중 하나를 제거하거나 대체할 경우 성능 저하가 발생함을 확인하였다.
• 조합 함수는 정책 기반 강화학습 방법을 사용하여 훈련되며, 복합 환경에서 누적 할인 보상 최대화를 목표로 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 조합 함수가 재훈련 없이 사전 훈련된 기술 정책을 효과적으로 조합하여 복잡한 작업을 해결할 수 있는가?
• RQ2 프레임워크는 새로운 기술 조합에 대해 일반화되어 제로샷 학습이 가능한가?
• RQ3 스킬-상태 임베딩은 학습 가능한 조합을 지원하는 데 있어 원시 정책 가중치보다 어떻게 비교되는가?
• RQ4 기본 기술의 재귀적 조합은 점점 더 복잡한 작업을 위한 계층적 행동을 생성할 수 있는가?
• RQ5 조합 함수에 잘못되거나 관련 없는 기술을 사용할 경우 어떤 영향을 미치는가?

주요 결과

• 정확한 기술 조합이 이루어졌을 때 조합 함수가 가장 높은 성능을 보이며, 잘못되거나 관련 없는 기술을 사용할 경우 성능 저하가 심각하게 발생한다.
• '빨간색 수집'과 '초록색 회피' 기술을 조합하면 '빨간색을 수집하면서 초록색을 피하는' 작업에서 최고의 성능을 기록하지만, '초록색 수집'과 '빨간색 회피'를 조합해도 긍정적인 보상은 얻을 수 있으나 성능은 낮다.
• 예를 들어 '파란색 수집'과 '파란색 회피'와 같은 두 개의 관련 없는 기술을 사용할 경우 학습이 전혀 이루어지지 않으며, 이는 임베딩이 작업 관련 정보를 포함해야 한다는 점을 입증한다.
• 단일 기술 트렁크 위에 새로운 정책 레이어를 훈련하는 것보다 ComposeNet이 성능이 열 劣하다. 특히 다수의 기술 간 협업이 필요한 작업에서는 더욱 뚜렷하다.
• '빨간색을 수집한 다음 초록색을 수집하는' 작업에서 단일 기술 트렁크를 미세조정하는 것은 정확한 순서를 학습하지 못하지만, ComposeNet은 요구되는 순서를 성공적으로 학습한다.
• 조합 함수는 새로운 작업에 대해 일반화되며 제로샷 능력을 보이며, 적은 환경 샘플로도 빠르게 수렴한다.