[논문 리뷰] Breaking the Deadly Triad with a Target Network

Shangtong Zhang, Hengshuai Yao외 1명|arXiv (Cornell University)|2021. 01. 21.

Reinforcement Learning in Robotics참고 문헌 59인용 수 5

한 줄 요약

이 논문은 기능 근사와 부트스트래핑을 포함한 비정책 강화학습을 안정화하기 위해 두 개의 투영을 갖는 새로운 타겟 네트워크 업데이트 규칙을 제안한다. 이는 일반적으로 '치명적 삼중奏'로 알려진 문제를 다루는 데 목적이 있다. 타겟 네트워크와 리지 정규화를 결합함으로써 저자들은 정책 평가 및 제어 설정 모두에서 정규화된 TD 고정점으로의 수렴을 증명하였으며, 이는 제약 조건이 없고 변화하는 행동 정책 하에서 이중 최적화 없이도 수렴하는 첫 번째 선형 Q-학습 알고리즘을 제공한다.

ABSTRACT

The deadly triad refers to the instability of a reinforcement learning algorithm when it employs off-policy learning, function approximation, and bootstrapping simultaneously. In this paper, we investigate the target network as a tool for breaking the deadly triad, providing theoretical support for the conventional wisdom that a target network stabilizes training. We first propose and analyze a novel target network update rule which augments the commonly used Polyak-averaging style update with two projections. We then apply the target network and ridge regularization in several divergent algorithms and show their convergence to regularized TD fixed points. Those algorithms are off-policy with linear function approximation and bootstrapping, spanning both policy evaluation and control, as well as both discounted and average-reward settings. In particular, we provide the first convergent linear $Q$-learning algorithms under nonrestrictive and changing behavior policies without bi-level optimization.

연구 동기 및 목표

• 기능 근사, 부트스트래핑, 비정책 학습을 동시에 적용할 경우 발생하는 비정책 강화학습의 불안정성을 해결하기 위해.
• DQN과 같은 딥 강화학습 알고리즘에서 타겟 네트워크의 경험적 성공에 대한 이론적 근거를 제공하기 위해.
• 일반적인 비정책 설정 하에서도 수렴을 보장하는 새로운 타겟 네트워크 업데이트 규칙을 개발하기 위해.
• 할인율 및 평균 보상 설정 모두에서 선형 기능 근사와 함께 비정책 알고리즘이 정규화된 TD 고정점으로 수렴하도록 보장하기 위해.
• 이중 최적화 없이도 제약 조건이 없고 변화하는 행동 정책 하에서 수렴하는 첫 번째 선형 Q-학습 알고리즘을 제시하기 위해.

제안 방법

• 이중 투영을 통한 폴리악 평균화의 확장으로 이론적 분석과 수렴 보장을 향상시키는 새로운 타겟 네트워크 업데이트 규칙을 도입한다.
• 주 네트워크가 타겟 네트워크보다 더 빠르게 업데이트되는 이중 시간 척도 프레임워크를 사용하여 업데이트를 최소 제곱 회귀 문제로 전환한다.
• 최소 제곱 문제에 리지 정규화를 적용하여 안정성과 수렴성을 확보한다.
• 정책 평가 및 제어 작업 모두에서 정규화된 TD 고정점으로의 수렴을 분석한다.
• 할인율 설정과 평균 보상 설정 모두에 적용하여 광범위한 비정책 알고리즘의 클래스를 커버한다.
• 타겟 네트워크의 궤적을 제어하기 위해 투영 기반 업데이트를 활용하여 유한성과 이론적 분석 가능성 확보.

실험 결과

연구 질문

• RQ1 새로운 업데이트 규칙을 갖는 타겟 네트워크가 기능 근사와 부트스트래핑을 포함한 비정책 강화학습을 안정화할 수 있는가?
• RQ2 제안된 타겟 네트워크 업데이트 규칙이 일반적인 비정책 설정 하에서 정규화된 TD 고정점으로 수렴을 보장하는가?
• RQ3 이중 최적화 없이도 제약 조건이 없고 변화하는 행동 정책 하에서 선형 Q-학습이 수렴할 수 있는가?
• RQ4 타겟 네트워크가 '치명적 삼중奏' 상황에서 학습을 어떻게 안정화시키는가에 대한 이론적 메커니즘은 무엇인가?
• RQ5 타겟 네트워크 업데이트에서의 투영이 수렴 분석과 안정성 향상에 어떻게 기여하는가?

주요 결과

• 이중 투영을 갖는 제안된 타겟 네트워크 업데이트 규칙은 정책 평가 및 제어 작업 모두에서 정규화된 TD 고정점으로의 수렴을 보장한다.
• 이 방법은 이전 방법이 자주 발산하는 제약 조건이 없고 변화하는 행동 정책 하에서도 비정책 선형 Q-학습의 수렴을 달성한다.
• 이중 최적화가 필요 없어 이전 방법보다 더 실용적이고 효율적이다.
• 이론적 분석 결과, 타겟 네트워크는 부트스트래핑 업데이트를 정규화된 최소 제곱 회귀 회귀로 변환함으로써 학습 과정을 안정화시킨다.
• Baird와 Kolter의 예제에 대한 실험적 검증을 통해 표준 비정책 TD 및 Q-학습이 실패하는 상황에서도 이 방법이 발산을 피하는 것으로 확인되었다.
• 할인율 설정과 평균 보상 설정 모두에서 수렴이 입증되어, 이 방법의 적용 범위가 넓어졌다.