[논문 리뷰] Backprop-Q: Generalized Backpropagation for Stochastic Computation Graphs

Xiaoran Xu, Songpeng Zu외 3명|arXiv (Cornell University)|2018. 07. 25.

Reinforcement Learning in Robotics참고 문헌 36인용 수 3

한 줄 요약

Backprop-Q는 확률적 계산 그래프(Stochastic Computation Graphs, SCGs)에 대해 일반화된 역전파 프레임워크를 제안한다. 이는 확률적 노드에서 학습 가능한 Q-함수를 서면 비용(cost)으로 도입하여, 확률적 연산을 거쳐도 기울기 기반 학습이 가능하도록 한다. 이는 강화학습에서 영감을 얻은 가치 함수와 표준 역전파를 결합하여, 확률적 노드를 통한 신용 할당을 가능하게 하면서도 결정적 부분의 기울기 흐름을 유지한다. 다양한 SCG 구조에서의 실험적 검증을 통해 검증되었다.

ABSTRACT

In real-world scenarios, it is appealing to learn a model carrying out stochastic operations internally, known as stochastic computation graphs (SCGs), rather than learning a deterministic mapping. However, standard backpropagation is not applicable to SCGs. We attempt to address this issue from the angle of cost propagation, with local surrogate costs, called Q-functions, constructed and learned for each stochastic node in an SCG. Then, the SCG can be trained based on these surrogate costs using standard backpropagation. We propose the entire framework as a solution to generalize backpropagation for SCGs, which resembles an actor-critic architecture but based on a graph. For broad applicability, we study a variety of SCG structures from one cost to multiple costs. We utilize recent advances in reinforcement learning (RL) and variational Bayes (VB), such as off-policy critic learning and unbiased-and-low-variance gradient estimation, and review them in the context of SCGs. The generalized backpropagation extends transported learning signals beyond gradients between stochastic nodes while preserving the benefit of backpropagating gradients through deterministic nodes. Experimental suggestions and concerns are listed to help design and test any specific model using this framework.

연구 동기 및 목표

• 표준 역전파가 비가역적 확률적 연산으로 인해 실패하는 이유로 인해, 확률적 계산 그래프(SCGs)에서의 신용 할당 문제를 해결하는 것.
• 표준 역전파를 비결정적이고 미분 가능한 네트워크를 초월하여, 가치 기반 피드백을 사용해 확률적 노드를 통해 학습 신호 전파가 가능한 방식으로 역전파를 일반화하는 것.
• 강화학습(예: 가치 함수, 비정책 학습)과 변분 추론(예: 재파arameterization, 제어 변수)의 통찰을 하나의 확장 가능한 프레임워크로 통합하여 SCGs에 적용하는 것.
• 단일 비용에서 다중 비용까지 다양한 SCG 아키텍처에 적용 가능한 융통성 있고 모듈러한 프레임워크를 제공하는 것.
• 내부적으로 확률적 성질을 가진 복잡한 모델을 종단 간(end-to-end) 학습할 수 있도록, 장기간 지연된 보상이나 비용을 근사하는 국소 서면 비용(Q-함수)을 학습시켜 학습 신호 전파를 가능하게 하는 것.

제안 방법

• 각 확률적 노드에서 표준 기울기 전파를 서면 비용으로 전환하는 Backprop-Q 프레임워크를 도입하며, 이는 학습 가능한 Q-함수를 서면 비용으로 사용한다.
• 각 Q-함수를 신경망(비평가(critic) 역할 수행)으로 파arameter화하여, 확률적 노드의 출력에서 기대 수익을 추정한다. 이는 샘플 기반 업데이트 방식으로 학습된다.
• 이중 단계 학습 과정을 적용한다: 첫 번째로, 샘플된 수익에서 유도된 타겟을 사용하여 1단계 SGD 업데이트를 통해 Q-함수 파라미터를 갱신하며, TD(0) 또는 TD(λ)와 같은 연산자를 사용한다.
• 기울기 추정을 위해 재parameterization, 연속적 완화(예: Gumbel-Softmax) 및 제어 변수 기법을 적용하여 연속적 및 이산적 확률적 변수에 대한 기울기의 분산을 줄인다.
• 학습된 Q-함수를 표준 역전파와 결합한다: Q-함수 값과 기울기를 사용해 국소 서면 목표를 구성하고, 이를 원래의 비용 함수와 함께 공동 최적화한다.
• 경험 재생과 타겟 네트워크를 통해 비정책 학습과 정책 학습을 모두 지원하여, 복잡하고 비마르코프 성질을 가진 SCG 아키텍처에서도 Q-함수 학습의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 역전파가 비가역적 확률적 노드로 인해 실패하는 확률적 계산 그래프에서, 신용 할당을 효과적으로 확장할 수 있는가?
• RQ2 가치 기반 피드백 신호(예: Q-함수)를 어떻게 사용해 확률적 노드를 통한 학습 신호 전파를 가능하게 하면서도 결정적 부분의 기울기 흐름을 유지할 수 있는가?
• RQ3 강화학습 기법(예: 비정책 학습, 제어 변수, 타겟 네트워크)을 일반적인 SCG 환경에서 서면 비용 함수 학습에 얼마나 잘 적응시킬 수 있는가?
• RQ4 이 프레임워크는 하나의 SCG에서 다중 비용 함수와 겹치는 계산 서브그래프를 지원하도록 어떻게 일반화할 수 있는가?
• RQ5 학습된 Q-함수를 제어 변수로 사용할 경우, 확률적 역전파에서 기울기 분산을 얼마나 줄일 수 있는가?

주요 결과

• Backprop-Q 프레임워크는 국소 Q-함수를 학습시켜 서면 비용으로 사용함으로써, 확률적 계산 그래프를 통해 역전파를 성공적으로 수행하며, 확률적 노드를 넘어선 신용 할당이 가능하다.
• Q-함수를 제어 변수로 사용할 경우 기울기 분산이 크게 감소하며, 진짜 비용이 지연되거나 매우 확률적으로 변동성이 클 경우 특히 두드러진다.
• 실험 결과는 이 프레임워크가 다중 비용 함수와 겹치는 서브그래프를 포함한 다양한 SCG 아키텍처를 지원함을 보여주며, 아키텍처 제약 조건 없이도 적용 가능하다.
• 비정책 Q-함수 학습과 표준 역전파를 결합함으로써 안정적이고 효과적인 학습을 달성하며, 복잡한 확률적 모델에서 확장 가능한 최적화를 가능하게 한다.
• Backprop-Q 내부에서 재parameterization, 연속적 완화, 제어 변수를 통합함으로써, 이산적 확률적 변수에 대해서도 편향이 없고 분산이 낮은 기울기 추정기(gradient estimator)를 확보한다.
• 이 방법은 결정적 서브그래프에서는 표준 역전파의 효율성과 확장성을 유지하면서도, 확률적 구성 요소로의 학습 신호 전파를 확장한다.