[논문 리뷰] Band-limited Soft Actor Critic Model

Miguel Vázquez-Martin del Campo, Zhengxing Chen외 3명|arXiv (Cornell University)|2020. 06. 19.

Neural Networks and Reservoir Computing참고 문헌 19인용 수 4

한 줄 요약

이 논문은 비용 함수의 고주파 성분으로부터 간섭을 줄이기 위해 비용 함수의 공간 해상도를 제약하기 위해 분리 가능 합성곱 필터를 적용한 밴드제한 소프트 액터-크리틱(SAC) 모델을 제안한다. 이는 표본 효율성과 학습 안정성을 향상시킨다. 방법은 상태-행동 가치 근사의 저주파 및 고주파 성분을 분리함으로써 연속 제어 환경에서 성능을 향상시키며, 특히 노이즈가 많은 실제 환경 조건에서 유용하다.

ABSTRACT

Soft Actor Critic (SAC) algorithms show remarkable performance in complex simulated environments. A key element of SAC networks is entropy regularization, which prevents the SAC actor from optimizing against fine grained features, oftentimes transient, of the state-action value function. This results in better sample efficiency during early training. We take this idea one step further by artificially bandlimiting the target critic spatial resolution through the addition of a convolutional filter. We derive the closed form solution in the linear case and show that bandlimiting reduces the interdependency between the low and high frequency components of the state-action value approximation, allowing the critic to learn faster. In experiments, the bandlimited SAC outperformed the classic twin-critic SAC in a number of Gym environments, and displayed more stability in returns. We derive novel insights about SAC by adding a stochastic noise disturbance, a technique that is increasingly being used to learn robust policies that transfer well to the real world counterparts.

연구 동기 및 목표

• 상태-행동 가치 함수의 스펙트럼 편향과 주파수 성분이 SAC의 학습 동역학과 성능에 미치는 영향을 조사하는 것.
• 비용 함수 근사에서 고주파 성분이 비용 함수에 도입하는 불안정성과 분산을 해결하기 위한 것. 이러한 성분은 저주파 성분으로 전파되어 정책 수렴을 방해할 수 있다.
• 비용 함수의 출력을 명시적으로 밴드제한함으로써 학습 효율성과 내성 향상 여부를 탐색하는 것. 특히 노이즈가 많거나 완벽하지 않은 실제 환경에서 유용한가를 평가한다.
• 엔트로피 정규화와 온도 하이퍼파rameter가 가치 함수의 저주파 및 고주파 성분 간의 결합 정도에 미치는 영향을 이해하는 것.

제안 방법

• 목표 비용 함수의 출력을 밴드제한하기 위해 분리 가능 합성곱 필터를 도입하여, 상태-행동 가치 함수의 고주파 성분 학습 능력을 제한한다.
• 정책의 효과적 해상도에 맞추어 필터 대역폭을 조정하며, 정책의 엔트로피와 탐색 행동에 따라 동적으로 조절한다.
• 선형 케이스에서 밴드제한 비용 함수의 닫힌 형태 해를 유도하여, 균일 정책 하에서는 저주파 및 고주파 성분이 완전히 분리됨을 보여준다.
• 자기상관 시간 및 공간 노이즈를 시뮬레이션하기 위해 온스타인-율리히 프로세스를 사용하여 보상 함수에 실질적인 방해 요소를 구현한다.
• 고정된 온도를 유지하면서, 노이즈 없는 조건과 노이즈 있는 조건에서 Gym 환경에서 표준 SAC와의 성능을 비교한다. 이는 밴드제한 효과를 고립하여 평가하기 위함이다.
• 표본 평균 수익의 성능 차이 유의성 평가를 위해 t-검정을 사용한다.

실험 결과

연구 질문

• RQ1 비용 함수의 공간 해상도를 밴드제한함으로써 연속 제어 환경에서 표본 효율성과 점근적 성능이 향상되는가?
• RQ2 밴드제한이 상태-행동 가치 함수의 저주파 및 고주파 성분 간 상호의존성에 어떤 영향을 미치는가?
• RQ3 자기상관 노이즈가 있는 보상 함수에서 밴드제한이 실질적인 환경 방해 요소를 모의하여 내성 향상에 기여하는가?
• RQ4 온도 하이퍼파rameter와 가치 함수의 저주파 및 고주파 성분 간 결합 정도 사이의 관계는 무엇인가?
• RQ5 밴드제한이 후기 학습 단계에서 더 안정적인 학습 경로와 수익의 분산 감소를 이끌어내는가?

주요 결과

• 밴드제한 SAC는 Gym 환경 5개 중 3개에서 평균 수익 측면에서 표준 SAC를 뛰어넘었으며, Ant, HalfCheetah, Hopper에서 통계적으로 유의미한 향상(표준 t-검정 통계량 > 1)을 보였다.
• 밴드제한은 학습 안정성을 향상시켰으며, 여러 실행 간 수익의 일관성과 분산 감소로 확인되었다.
• 자기상관 보상 방해가 있는 환경에서, 고정된 온도 조건에서도 밴드제한 SAC는 표준 SAC보다 높은 수익을 기록하여 고주파 노이즈에 대한 민감도 감소를 시사했다.
• 닫힌 형태 해는 균일 정책 하에서 가치 함수 근사에서 저주파 및 고주파 성분이 완전히 분리되어 있음을 보여주며, 정책이 결정론적으로 수렴할수록 결합 정도가 감소함을 밝혔다.
• 밴드제한 SAC의 온도 하이퍼파rameter는 이중 기능을 수행한다: 정책 엔트로피 조절과 가치 함수 내 주파수 성분 간 상호의존도 제어.
• 결과는 가치 함수의 고주파 성분이 학습하기 어려우며 불안정성을 유발할 수 있으며, 이러한 성분을 제약함으로써 전체 학습 효율성과 내성 향상이 가능하다는 것을 시사한다.