[논문 리뷰] A Closer Look at Deep Policy Gradients

Andrew Ilyas, Logan Engstrom외 5명|arXiv (Cornell University)|2018. 11. 06.

Reinforcement Learning in Robotics참고 문헌 25인용 수 27

한 줄 요약

이 논문은 PPO와 TRPO를 포함한 딥 정책 그래디언트 방법에 대한 미세한 분석을 수행하여, 핵심 구성 요소인 그래디언트 추정, 가치 예측, 최적화 지형이 이론적 기대와 상당히 다를 수 있음을 드러낸다. 보상은 향상되지만 그래디언트 추정치는 진짜 그래디언트와 상관관계가 떨어지고, 가치 네트워크는 진짜 가치 함수를 제대로 모델링하지 못하며, 서로서티브 목적 함수는 진짜 보상 지형을 잘못 반영하여 딥 강화학습에서 이론과 실무 사이에 심각한 격차가 있음을 폭 드러낸다.

ABSTRACT

We study how the behavior of deep policy gradient algorithms reflects the conceptual framework motivating their development. To this end, we propose a fine-grained analysis of state-of-the-art methods based on key elements of this framework: gradient estimation, value prediction, and optimization landscapes. Our results show that the behavior of deep policy gradient algorithms often deviates from what their motivating framework would predict: the surrogate objective does not match the true reward landscape, learned value estimators fail to fit the true value function, and gradient estimates poorly correlate with the "true" gradient. The mismatch between predicted and empirical behavior we uncover highlights our poor understanding of current methods, and indicates the need to move beyond current benchmark-centric evaluation methods.

연구 동기 및 목표

• 최신 딥 정책 그래디언트 알고리즘이 그들의 설계 배경이 되는 개념적 프레임워크를 얼마나 잘 반영하는지 조사하기 위해.
• 이론적 기대에 비해 핵심 구성 요소인 그래디언트 추정, 가치 예측, 최적화 지형의 충실도를 평가하기 위해.
• 현재 벤치마크 중심 평가가 알고리즘 행동과 신뢰성을 충분히 반영한다고 보는 가정을 도전하기 위해.
• 딥 강화학습에서 이론적 원천과 실증적 성능 사이의 체계적 불일치를 규명하기 위해.
• 벤치마크 중심 평가에서 다각적 메커니즘 수준 평가로의 전환을 주장하기 위해.

제안 방법

• 학습 단계와 샘플 크기별로 추정 그래디언트와 진짜 기대 그래디언트 사이의 코사인 유사도를 실증적으로 측정하기 위해.
• 로울아웃 데이터를 기반으로 가치 네트워크를 훈련하고, 지도학습 평가 지표를 사용해 그 예측을 진짜 가치 함수와 비교하기 위해.
• 여러 랜덤 시드를 기반으로 한 부트스트랩 신뢰구간을 사용해 그래디언트 추정치의 분산을 평가하기 위해.
• MuJoCo Humanoid-v2 환경에서 서로서티브 목적 함수 지형과 진짜 보상 지형을 시각화하고 비교하기 위해.
• 진짜 가치 함수와 0 기준값 대비 가치 네트워크를 기준으로 하여 그래디언트 분산 감소 효과를 평가하기 위해.
• 학습 진행 상황과 작업 복잡도가 그래디언트 추정의 질과 진짜 그래디언트와의 상관관계에 미치는 영향을 분석하기 위해.

실험 결과

연구 질문

• RQ1 딥 정책 그래디언트 방법에서 그래디언트 추정치가 진짜 그래디언트와 얼마나 상관관계가 있으며, 이 상관관계는 학습 과정에서 어떻게 변화하는가?
• RQ2 딥 강화학습 환경에서 지도학습으로 훈련된 가치 네트워크가 진짜 가치 함수를 얼마나 잘 근사하는가?
• RQ3 진짜 가치 함수 대비 가치 네트워크를 기준으로 사용했을 때 그래디언트 분산 감소 효과는 얼마나 효과적인가?
• RQ4 실제로는 서로서티브 목적 함수가 진짜 보상 지형을 얼마나 잘 반영하는가?
• RQ5 이론적 가정과 실증적 행동 사이에 상당한 불일치가 있음에도 불구하고 딥 정책 그래디언트 알고리즘이 성공하는 이유는 무엇인가?

주요 결과

• 보상이 향상되더라도 정책 업데이트에 사용되는 그래디언트 추정치는 진짜 그래디언트와 상관관계가 낮으며, 학습 진행과 작업 복잡도가 증가할수록 이 상관관계는 감소한다.
• 일반적인 샘플 크기(예: 약 2,000개)에서도 그래디언트 추정치의 분산이 높아, 현재의 샘플링 제도는 안정적인 그래디언트 추정에 부적합함을 시사한다.
• 가치 네트워크는 지도학습 과제를 성공적으로 해결하지만, 진짜 가치 함수를 제대로 맞추지 못함으로써 훈련 목표와 진짜 가치 예측 간의 근본적인 괴리가 있음을 시사한다.
• 진짜 가치 함수를 사용하는 것에 비해 가치 네트워크를 기준으로 사용했을 때 그래디언트 분산 감소 효과는 미미하지만, 0 기준값 대비 성능 향상은 뚜렷하다.
• 서로서티브 목적 함수의 최적화 지형은 종종 진짜 보상 지형을 잘못 반영하며, 후기 학습 단계에서 서로서티브 목적 함수가 증가함에 따라 진짜 보상은 감소하는 경우가 많다.
• 더 정확해진 그래디언트 추정치는 더 낮은 학습률이 필요할 수 있으며, 심지어 열악한 에이전트 행동을 유도할 수 있어 그래디언트 품질의 비단조화적이고 직관에 어긋나는 영향을 보여준다.