[논문 리뷰] Cascade Attribute Learning Network

Zhuo Xu, Haonan Chang외 1명|arXiv (Cornell University)|2017. 11. 24.

Reinforcement Learning in Robotics참고 문헌 20인용 수 6

한 줄 요약

이 논문은 복잡한 제어 작업을 해결하기 위해 위치, 속도, 장애물 회피와 같은 작업별 특성들을 별도로 훈련하고 계단식으로 조립하는 모odular 강화학습 프레임워크인 Cascade Attribute Learning Network (CALNet)을 제안한다. CALNet은 사전 훈련된 특성 모듈을 재사용하여 새로운 작업에 대해 제로샷 일반화를 가능하게 하여 표준 강화학습에 비해 더 빠른 훈련과 뛰어난 성능을 달성한다. 실험 결과, 희박 보상 환경에서 수렴 속도가 10배 이상 빨라짐을 확인했다.

ABSTRACT

We propose the cascade attribute learning network (CALNet), which can learn attributes in a control task separately and assemble them together. Our contribution is twofold: first we propose attribute learning in reinforcement learning (RL). Attributes used to be modeled using constraint functions or terms in the objective function, making it hard to transfer. Attribute learning, on the other hand, models these task properties as modules in the policy network. We also propose using novel cascading compensative networks in the CALNet to learn and assemble attributes. Using the CALNet, one can zero shoot an unseen task by separately learning all its attributes, and assembling the attribute modules. We have validated the capacity of our model on a wide variety of control problems with attributes in time, position, velocity and acceleration phases.

연구 동기 및 목표

• 복잡하고 고차원적인 제어 작업에 대해 표준 강화학습에서 낮은 이식성과 높은 샘플 복잡도 문제를 해결한다.
• 속도 제한이나 장애물 회피와 같은 새로운 작업 제약 조건을 추가로 통합할 수 없어 다시 시작부터 훈련해야 하는 고정된 정책 아키텍처의 한계를 극복한다.
• 목표 도달, 장애물 회피, 속도 제한과 같은 해석 가능한 전역 특성으로 작업을 분해함으로써 모듈형이고 재사용 가능한 정책 학습을 가능하게 한다.
• 이전에 훈련된 특성 모듈을 계단식으로 연결하여 재훈련 없이도 새로운 작업을 제로샷으로 배포할 수 있는 프레임워크를 개발한다.
• 계단식 모듈을 통한 특성 학습이 표준 강화학습 방법에 비해 희박 보상 환경에서 훈련 효율성과 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 각 특성이 특정 기능을 담당하는 계단식 모듈로 구성된 새로운 강화학습 프레임워크인 Cascade Attribute Learning Network (CALNet)을 제안한다.
• 기본 모듈(예: 목표 위치 도달과 같은 기본 작업 역학을 캡처)을 사전 훈련한 후, 교과서 학습(Curriculum Learning, CL)을 사용해 각 특성 모듈을 훈련한다.
• 각 계단식 모듈은 이전 모듈의 출력과 관련된 상태 정보를 모두 수신하여 이전 특성 제약 조건을 존중하는 계층적 의사결정을 가능하게 한다.
• 공통 기반 정책 네트워크를 기본으로 하되, 장애물 회피, 속도 제한 등의 전문화된 특성 모듈을 쌓아가며 행동을 점진적으로 개선한다.
• 기반 정책의 가이드를 활용해 희박 보상 환경에서 오해의 소지를 가진 보상을 완화함으로써 훈련 안정성과 수렴 속도를 향상시킨다.
• 이미 훈련된 특성 모듈을 순서대로 연결함으로써 재훈련 없이도 새로운 조합의 특성에 대해 제로샷으로 작동 가능하게 한다.

실험 결과

연구 질문

• RQ1 모듈형 특성 학습이 복잡한 제어 작업에 대한 강화학습에서 샘플 효율성과 이식성을 향상시킬 수 있는가?
• RQ2 사전 훈련된 특성 모듈을 계단식으로 조립하여 재훈련 없이도 새로운, 미사전에 보지 않은 작업을 해결할 수 있는가?
• RQ3 CALNet은 희박 보상 환경에서 표준 강화학습 알고리즘과 비교해 훈련 속도와 성능 면에서 어떻게 다른가?
• RQ4 계단식 특성 모듈이 동시에 여러 제약 조건(예: 목표 도달과 동시에 장애물 회피)을 얼마나 잘 처리할 수 있는가?
• RQ5 CALNet 프레임워크는 다양한 작업과 에이전트 간에 일반화되어 재사용 가능하고 다재다능한 정책 학습을 가능하게 하는가?

주요 결과

• CALNet은 사전 훈련된 특성 모듈을 조립하여 새로운 작업에 대해 재훈련 없이도 제로샷으로 배포할 수 있으며, 새로운 작업에 대해 추가 훈련 없이도 성공적인 작업 실행을 달성한다.
• 계단식 아키텍처는 목표 도달과 동시에 장애물 회피와 같은 다양한 특성을 동시에 만족시킬 수 있으며, 이는 새로운 조합에서 입증되었다.
• CALNet는 기준선 PPO에 비해 종료 무작위 수준에 도달하는 데 10배 이상 빠른 속도를 기록하여 훈련 속도가 크게 향상됨을 시사한다.
• 기준선 강화학습에 CL를 적용한 경우 장애물로 인한 희박 보상과 오해의 소지를 가진 처벌로 인해 효과적으로 학습되지 못했지만, CALNet은 가이드된 기반 정책 덕분에 이러한 문제를 극복했다.
• 계단식 보완 네트워크의 사용은 고차원적이고 복잡한 환경에서도 안정적인 훈련과 특성의 효과적인 통합을 가능하게 했다.
• 모듈형 설계 덕분에 상태 공간을 동적으로 관리할 수 있고, 다양한 작업과 에이전트 간에 특성 모듈을 재사용할 수 있어 정책의 다양성과 활용도가 향상된다.