[논문 리뷰] TAAC: Temporally Abstract Actor-Critic for Continuous Control

Haonan Yu, Wei Xu외 1명|arXiv (Cornell University)|2021. 04. 13.

Reinforcement Learning in Robotics참고 문헌 51인용 수 6

한 줄 요약

TAAC는 실제 샘플된 동작을 바탕으로 학습된 '행동 또는 반복' 결정을 가능하게 함으로써 연속 제어에 닫힌 순환 시간 추상화를 통합하는 단순하면서도 효과적인 오프-폴리시 액터-크리틱 알고리즘을 제안한다. 14개의 연속 제어 과제에서 최신 기술 성능을 달성하며, 놀랍게도 최대 89%에 이르는 행동 반복률을 기록하여 행동 지속성이 성능을 희생시키지 않고 탐색과 샘플 효율성을 향상시킨다는 것을 입증한다.

ABSTRACT

We present temporally abstract actor-critic (TAAC), a simple but effective off-policy RL algorithm that incorporates closed-loop temporal abstraction into the actor-critic framework. TAAC adds a second-stage binary policy to choose between the previous action and a new action output by an actor. Crucially, its "act-or-repeat" decision hinges on the actually sampled action instead of the expected behavior of the actor. This post-acting switching scheme let the overall policy make more informed decisions. TAAC has two important features: a) persistent exploration, and b) a new compare-through Q operator for multi-step TD backup, specially tailored to the action repetition scenario. We demonstrate TAAC's advantages over several strong baselines across 14 continuous control tasks. Our surprising finding reveals that while achieving top performance, TAAC is able to "mine" a significant number of repeated actions with the trained policy even on continuous tasks whose problem structures on the surface seem to repel action repetition. This suggests that aside from encouraging persistent exploration, action repetition can find its place in a good policy behavior. Code is available at https://github.com/hnyu/taac.

연구 동기 및 목표

• 복잡하거나 보상이 희박한 연속 제어 과제에서 표준 오프-폴리시 딥 강화 학습 알고리즘의 샘플 효율성 한계를 해결하기 위해.
• 실제 행동 결과를 기반으로 한 닫힌 순환 행동 반복이 탐색과 성능 향상에 기여할 수 있는지 탐색하기 위해.
• 작업 특화의 옵션 또는 목표 공간 정의 없이도 시간 추상화를 통합할 수 있는 단순하고 학습 가능하며 일반화 가능한 방법을 설계하기 위해.
• 행동 다양성이 선호되는 것처럼 보이는 과제에서도 행동 반복이 고성능 정책의 유익한 구성 요소가 될 수 있는지 조사하기 위해.

제안 방법

• 두 단계 정책을 도입: 액터 네트워크가 새로운 동작을 출력하고, 두 번째 단계의 이진 정책이 이전 동작을 실행할지 또는 반복할지 결정한다.
• '행동 또는 반복' 결정은 기대 행동이 아니라 실제 샘플된 동작에 기반하여 이루어지며, 환경 피드백에 대한 닫힌 순환 적응을 가능하게 한다.
• 행동 반복을 처리하고 신용 할당을 향상시키기 위해 특별히 설계된 새로운 '비교 기반 Q' 연산자를 제안한다.
• 최적의 새로운 동작 선택 확률에서 유도된 스케일링 인자로 액터 네트워크의 기울기 갱신을 조정하여 정책 향상을 향상시킨다.
• 재생 버퍼를 사용한 오프-폴리시 학습을 활용하여 샘플 효율성을 유지하면서 안정적인 훈련을 가능하게 한다.
• 함수 근사와 확률적 성격을 활용하여 정책이 비핵심 상태에 대한 의사결정을 반복 메커니즘에 위임할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 실제 결과에 기반해 행동을 반복하는 단순하고 종단 간 학습 가능한 정책이 연속 제어에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 닫힌 순환 행동 반복이 복잡하거나 보상이 희박한 환경에서 오픈 루프 또는 평탄한 액터-크리틱 방법보다 더 나은 성능을 내는가?
• RQ3 높은 성능 정책이 행동 다양성이 선호되는 것처럼 보이는 과제에서도 자연스럽게 행동 반복을 얼마나 활용하는가?
• RQ4 제안된 '비교 기반 Q' 연산자가 행동 반복이 존재하는 상황에서 신용 할당을 어떻게 향상시키는가?
• RQ5 행동 반복은 최종 성능을 희생시키지 않고 지속적인 탐색의 수단이 될 수 있는가?

주요 결과

• TAAC는 14개의 연속 제어 과제에서 여섯 개의 강력한 기준보다 뛰어난 성능을 보이며 최종 수익과 샘플 효율성 측면에서 최신 기술 성능을 달성한다.
• 평가 결과, MountainCarContinuous에서는 최대 89%, Ant에서는 74%, FetchPickAndPlace에서는 55%의 행동 반복률을 기록하여 지속성의 광범위한 사용을 보였다.
• 행동 반복률이 높은 것은 행동 경계 근처에 있을 때만 발생하는 것이 아니며, 클리핑으로 인한 반복이 원인이 아님을 규명했다.
• 정책은 비핵심 결정을 반복 메커니즘에 위임하여 핵심 상태에 대한 액터 네트워크의 표현 능력을 유지했다.
• '비교 기반 Q' 연산자는 중요도 샘플링 보정에 의존하지 않고 안정적이고 효과적인 다단계 TD 백업을 가능하게 했다.
• 시각화 결과, 반복된 행동은 일반적으로 안정된 단계(예: 물체 들기, 점프)에 해당하여 안정성과 효율성 향상을 위한 전략적 지속성 사용을 시사했다.