[논문 리뷰] Are Deep Policy Gradient Algorithms Truly Policy Gradient Algorithms

Andrew Ilyas, Logan Engstrom외 5명|arXiv (Cornell University)|2018. 11. 06.

Reinforcement Learning in Robotics참고 문헌 1인용 수 34

한 줄 요약

이 논문은 딥 풀리시 그레디언트 알고리즘들이 그들이 기반으로 하는 이론적 프레임워크를 진정으로 따르는지 조사한다. 기울기 추정, 가치 예측, 최적화 지형에 대한 세밀한 분석을 통해, 이론과 실무 사이에 심각한 괴리가 드러난다: 서면 목적함수는 보상 지형과 다름지고, 가치 추정기들은 진정한 가치 함수를 잘 맞추지 못하며, 기울기 추정치는 진짜 기울기와 빈도가 낮게 상관된다—현재 딥 강화학습 방법에서 이론과 실천 사이에 근본적인 격차가 있음을 시사한다.

ABSTRACT

We study how the behavior of deep policy gradient algorithms reflects the conceptual framework motivating their development. To this end, we propose a fine-grained analysis of state-of-the-art methods based on key elements of this framework: gradient estimation, value prediction, and optimization landscapes. Our results show that the behavior of deep policy gradient algorithms often deviates from what their motivating framework would predict: the surrogate objective does not match the reward landscape, learned value estimators fail to fit the value function, and gradient estimates poorly correlate with the true gradient. The mismatch between predicted and empirical behavior we uncover highlights our poor understanding of current methods, and indicates the need to move beyond current benchmark-centric evaluation methods.

연구 동기 및 목표

• 딥 풀리시 그레디언트 알고리즘이 그 이론적 프레임워크에 의해 예측된 바와 같이 행동하는지 평가하기.
• 풀리시 그레디언트 방법의 개념적 동기와 실제 응용에서의 행동 간 괴이를 규명하기.
• 현재의 벤치마크 중심 평가 방식이 알고리즘 설계의 근본적 결함을 가려내지 못할 수 있음을 도전하기.
• 최신 딥 풀리시 그레디언트 알고리즘에서 핵심 구성 요소인 기울기 추정, 가치 예측, 최적화 지형에 대한 세밀한 분석 제공하기.

제안 방법

• 저자는 기울기 추정, 가치 예측, 최적화 지형이라는 핵심 프레임워크 구성 요소로 분해하여 최신 딥 풀리시 그레디언트 알고리즘에 대한 세밀한 실증 분석을 수행한다.
• 다양한 환경에서 서면 목적함수와 실제 보상 지형 간의 일치 정도를 평가한다.
• 진짜 가치 함수에 대한 학습된 가치 추정기의 정확도를 측정하여 그 충실도를 평가한다.
• 추정된 기울기와 진짜 정책 기울기 간의 상관계수를 계산하여 기울기 추정의 품질을 평가한다.
• 일반화 가능성 확보를 위해 다양한 연속 제어 벤치마크에 분석을 적용한다.
• 이론적 예측과 실증 관찰 간의 비교를 위해 정량적 지표를 사용하여 체계적 이격을 부각시킨다.

실험 결과

연구 질문

• RQ1 딥 풀리시 그레디언트 방법에서 서면 목적함수는 진짜 보상 지형을 어느 정도 반영하는가?
• RQ2 실제로 학습된 가치 추정기는 진짜 가치 함수를 어느 정도 정확하게 근사하는가?
• RQ3 딥 풀리시 그레디언트 알고리즘에서 기울기 추정치는 진짜 정책 기울기와 어느 정도 상관이 있는가?
• RQ4 왜 현재의 벤치마크 중심 평가 방식은 알고리즘 행동의 근본적 부적합성을 감지하지 못하는가?
• RQ5 이러한 괴리의 이론적 이해 및 딥 강화학습 알고리즘 설계에 대한 함의는 무엇인가?

주요 결과

• 딥 풀리시 그레디언트 알고리즘에서 사용하는 서면 목적함수는 종종 실제 보상 지형의 형태와 일치하지 않아 최적화 목표의 괴리가 있음을 시사한다.
• 최신 방법에서 학습된 가치 추정기는 진짜 가치 함수를 신뢰성 있게 맞추지 못해 정책 기울기 분산을 줄이는 데서 그 역할을 약화시킨다.
• 이 알고리즘들에서 기울기 추정치는 진짜 정책 기울기와 빈도가 낮게 상관되어 있어 최적화가 의도된 방향을 따르지 않는 것으로 나타난다.
• 관찰된 이격은 여러 환경에서 일관되게 나타나 시스템적 문제이지 국소적 실패가 아님을 시사한다.
• 이러한 괴리는 이론적 가정과 실증적 행동 사이에 심각한 격차가 있음을 드러내며, 현재 평가 패러다임의 타당성을 도전한다.