[논문 리뷰] Hierarchical Policy Learning is Sensitive to Goal Space Design

Zach Dwiel, Madhavun Candadai외 2명|arXiv (Cornell University)|2019. 05. 04.

Reinforcement Learning in Robotics참고 문헌 25인용 수 10

한 줄 요약

이 논문은 목표 공간 설계가 계층 강화 학습에 미치는 영향을 조사하며, 도움이 되지 않는 요소들이 계층 강화 학습(HAC)에서 특히 마스터 정책의 행동 공간에서 학습을 심각하게 저해하는 반면, 회전과 노이즈는 영향을 미치지 않는다는 점을 보여준다. 주요 기여는 목표 표현에 있는 허수의 요소들이 샘플 효율성을 심각하게 떨어뜨린다는 점을 규명하며, 계층 강화 학습에서 태스크 관련 표현의 분리된 표현이 필요하다는 점을 강조한다.

ABSTRACT

Hierarchy in reinforcement learning agents allows for control at multiple time scales yielding improved sample efficiency, the ability to deal with long time horizons and transferability of sub-policies to tasks outside the training distribution. It is often implemented as a master policy providing goals to a sub-policy. Ideally, we would like the goal-spaces to be learned, however, properties of optimal goal spaces still remain unknown and consequently there is no method yet to learn optimal goal spaces. Motivated by this, we systematically analyze how various modifications to the ground-truth goal-space affect learning in hierarchical models with the aim of identifying important properties of optimal goal spaces. Our results show that, while rotation of ground-truth goal spaces and noise had no effect, having additional unnecessary factors significantly impaired learning in hierarchical models.

연구 동기 및 목표

• 계층 강화 학습에서 목표 공간의 체계적인 왜곡이 학습 성능에 미치는 영향을 조사하기 위해.
• 현대 강화 학습에서 흔히 사용되는 학습된 목표 표현이, 예를 들어 회전, 노이즈, 또는 추가 요소 같은 결함에 대해 얼마나 견고한지 평가하기 위해.
• 샘플 효율성과 수렴성 측면에서, 목표 공간 설계가 HAC와 단일 수준의 HER에 미치는 영향을 분리하여 평가하기 위해.
• 성공적인 계층 정책 학습을 위해 목표 공간의 어떤 특성이 핵심적인지 규명하기 위해.
• 목표 공간 표현의 실패 모드를 규명하여 향후 비지도 표현 학습을 활용한 계층 에이전트 설계에 정보를 제공하기 위해.

제안 방법

• 로봇 작업 시뮬레이션(Fetch reach 및 fetch push)에서 기저 목표 공간에 대해 회전, 일정한 노이즈 추가, 불필요한 요소 도입을 통해 체계적으로 수정하였다.
• 후행 경험 재현(HER)을 통합한 이중 수준의 계층 강화 학습(HAC) 프레임워크를 사용하여 왜곡된 목표 공간 하에서의 학습 성능을 평가하였다.
• 다양한 목표 공간 왜곡에 대한 성능을 비교: 최대 45도의 회전, 신호 대 노이즈비(SNR) 18.75dB에서 6.71dB까지의 가우시안 노이즈, 추가적인 불필요한 요소.
• 계층의 영향을 분리하기 위해 HAC(이중 수준 계층)와 HER(단일 수준)의 성능을 비교하였다.
• 불가능한 목표 보상 및 후행 행동 메모리와 같은 수정 메커니즘을 도입하여 내성적 저항성을 테스트하였다.
• 통계적 신뢰성을 확보하기 위해 10개의 랜덤 시드를 기반으로 수렴 속도와 최종 성능을 측정하였다.

실험 결과

연구 질문

• RQ1 기저 목표 공간을 최대 45도로 회전시키면 HAC와 HER의 학습 성능에 어떤 영향을 미치는가?
• RQ2 목표 공간에 노이즈 성분을 추가하면 계층적 및 단일 수준 강화 학습 에이전트의 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 목표 공간에 추가적인 불필요한 요소가 존재할 경우 HAC의 수렴성과 성능은 HER에 비해 어떻게 영향을 받는가?
• RQ4 HER는 영향을 받지 않음에도 불구하고, 왜 HAC는 불필요한 요소가 도입될 경우 수렴하지 못하는가?
• RQ5 불가능한 목표 보상 및 후행 행동 메모리와 같은 수정 메커니즘이 목표 공간이 손상된 경우 성능을 복구시킬 수 있는가?

주요 결과

• 기저 목표 공간을 최대 45도로 회전시키는 것은 HAC 또는 HER의 학습 성능에 측정 가능한 영향을 미치지 않았으며, 이는 목표 공간의 선형 변환에 대해 강건함을 시사한다.
• 목표 공간에 가우시안 노이즈를 추가하면 HER 성능이 점진적으로 악화되었으며, 신호 대 노이즈비(SNR)가 18.75dB에서 6.71dB로 감소할 경우 수렴에 실패하였다. 반면 HAC는 상대적으로 안정성을 유지하였다.
• 목표 공간에 불필요한 상수 요소 하나를 추가하면 HAC는 100개의 학습 에포크 후 수렴에 실패하였고, HER는 영향을 받지 않았다. 이는 계층 구조에서의 민감도가 심각하다는 것을 시사한다.
• HAC의 실패 원인은 마스터 정책의 행동 공간에서 유래되었으며, 불가능한 보조 목표가 불필요한 요소와 얽히면서 학습이 어려워졌기 때문이다.
• 불가능한 목표 보상 및 후행 행동 메모리와 같은 수정 조치를 적용한 후에도 HAC는 추가적인 요소가 존재하는 상황에서 수렴에 실패하였다. 이는 이러한 메커니즘이 열악한 목표 공간 설계를 보완하는 데에는 부적합하다는 것을 의미한다.
• 목표 공간의 차원 수를 증가시키면 HAC 성능이 악화되었으며, 이는 표현의 분리성과 태스크 관련성은 순수한 표현 능력보다 더 중요하다는 것을 시사한다.