[논문 리뷰] PaCo: Parameter-Compositional Multi-Task Reinforcement Learning

Lingfeng Sun, Haichao Zhang외 2명|arXiv (Cornell University)|2022. 10. 21.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

PaCo는 작업에 종속되지 않는 파라미터 세트를 사용하여 공유 정책 부분공간을 학습하는 파라미터 조합형 다중작업 강화학습 프레임워크를 제안한다. 이는 파라미터 공간 내 선형 보간을 통한 민첩한 정책 조합을 가능하게 하며, 작업에 종속되지 않는 요소와 작업별로 특화된 요소를 명시적으로 분리하여 학습 안정성과 일반화 능력을 향상시킴으로써 Meta-World 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

The purpose of multi-task reinforcement learning (MTRL) is to train a single policy that can be applied to a set of different tasks. Sharing parameters allows us to take advantage of the similarities among tasks. However, the gaps between contents and difficulties of different tasks bring us challenges on both which tasks should share the parameters and what parameters should be shared, as well as the optimization challenges due to parameter sharing. In this work, we introduce a parameter-compositional approach (PaCo) as an attempt to address these challenges. In this framework, a policy subspace represented by a set of parameters is learned. Policies for all the single tasks lie in this subspace and can be composed by interpolating with the learned set. It allows not only flexible parameter sharing but also a natural way to improve training. We demonstrate the state-of-the-art performance on Meta-World benchmarks, verifying the effectiveness of the proposed approach.

연구 동기 및 목표

• 다양한 작업 간에 무엇을 공유하고 어떻게 파라미터를 공유할 것인지 다중작업 강화학습(MTRL)에서의 도전 과제를 해결하기 위해.
• 작업에 종속되지 않는 요소와 작업별로 특화된 요소를 분리하여 MTRL에서의 학습 안정성을 향상시키기 위해.
• 유사하거나 상이한 작업 모두를 지원할 수 있는 통합된 조합 구조를 통해 민감한 파라미터 공유를 가능하게 하기 위해.
• 복잡한 아키텍처나 외부 메타데이터에 의존하지 않고 표준 MTRL 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 해당 방법은 작업에 종속되지 않는 파라미터 세트로 구성된 행렬 Φ를 사용하여 공유 정책 부분공간을 학습한다. 이 행렬 Φ는 모든 작업별 정책의 공간을 차지한다.
• 각 작업별 정책는 작업별 조합 벡터 w를 사용하여 Φ의 열들을 선형 조합하여 구성되며, 정책 파라미터는 w^TΦ로 표현된다.
• 각 작업에 맞는 온도 파라미터 α_τ를 사용하는 소프트 액터-크리틱(SAC)을 적용하여 각 작업의 엔트로피 수준을 유지한다.
• 각 작업에 대해 별도의 작업별 조합 벡터 w를 최적화함으로써, 동작 공간이 아닌 파라미터 공간 내에서의 보간을 가능하게 한다.
• 작업별 업데이트를 공유 파라미터 세트에서 분리함으로써 학습을 안정화시키고 기울기 갈등을 감소시킨다.
• PCA를 통한 시각화 결과, 조합 벡터 w가 의미적으로 유사한 작업들 간에 군집되어 있음을 확인하여, PaCo가 파라미터 공간 내에서 의미 있는 행동 구조를 학습하고 있음을 시사한다.

실험 결과

연구 질문

• RQ1 표준 파라미터 공유 방식과 비교해 볼 때, 정책의 선형적이고 파라미터 공간 기반의 조합 방식이 다중작업 강화학습 성능을 향상시킬 수 있는가?
• RQ2 작업에 종속되지 않는 요소와 작업별로 특화된 요소를 분리하는 것이 MTRL에서의 학습 안정성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 작업 간에 명시적으로 관련이 없더라도, 파라미터 공간 내 조합 벡터 w가 작업 간 의미적 관계를 포착할 수 있는가?
• RQ4 PaCo 프레임워크가 Meta-World와 같은 표준 MTRL 벤치마크에서 기존 최신 기준(SOTA) 방법들을 초월하는가?
• RQ5 학습된 파라미터 부분공간이 보간을 통해 예측되지 않은 작업으로까지 일반화되는 정도는 어느 정도인가?

주요 결과

• PaCo는 Meta-World 벤치마크에서 최신 기준 성능을 달성하였으며, 다중작업 학습 효율성과 최종 성능 모두에서 기존 SOTA 방법들을 능가한다.
• PCA를 통해 시각화한 조합 벡터 w는 의미적으로 유사한 작업들(예: 창 열기와 문 열기)이 w-공간 내에서 가까이 군집되어 있음을 보여주며, 이는 학습된 행동 의미론을 반영하고 있음을 시사한다.
• 관련이 없는 작업들인 피노우 삽입과 창 열기 사이에서도 w-공간 내에서의 거리가 짧게 나타나, 메타데이터 없이도 고수준의 행동 유사성을 포착할 수 있음을 보여준다.
• 작업별 업데이트를 공유 파라미터 세트에서 분리함으로써 학습이 안정화되었으며, 기울기 갈등이 감소하였다.
• 파라미터 공간 내 선형 보간을 통해 구성된 정책는 잘 일반화되며, 단위 원 위에서 샘플링한 정책들은 환경 내에서 다양한 행동 의미를 지닌 상호작용을 보였다.
• 이 프레임워크는 MTRL의 다양한 이전 공유 구조를 통합하며, 모듈 기반 또는 표현 기반 접근 방식에 비해 더 민감하고 확장 가능한 대안을 제공한다.