[논문 리뷰] Learning Finite State Representations of Recurrent Policy Networks

Anurag Koul, Sam Greydanus외 1명|arXiv (Cornell University)|2018. 11. 29.

Reinforcement Learning in Robotics인용 수 29

한 줄 요약

이 논문은 연속적인 RNN 메모리 및 관측 벡터를 이산적인 Moore 기계로 변환하기 위해 양자화된 잠재 공간을 갖는 오토에코더를 훈련시켜 순환 정책 네트워크의 유한상태 표현을 학습하는 방법인 Quantized Bottleneck Insertion을 제안한다. 이 방법은 성능을 유지하면서도 해석 가능한 정책 모델을 제공하며, 메모리와 관측 사용에 대한 통찰을 드러내며, 최소 상태 표현(예: Pong에서 3개의 메모리 상태)과 합성 작업에서 참값의 구조를 정확하게 추출한다.

ABSTRACT

Recurrent neural networks (RNNs) are an effective representation of control policies for a wide range of reinforcement and imitation learning problems. RNN policies, however, are particularly difficult to explain, understand, and analyze due to their use of continuous-valued memory vectors and observation features. In this paper, we introduce a new technique, Quantized Bottleneck Insertion, to learn finite representations of these vectors and features. The result is a quantized representation of the RNN that can be analyzed to improve our understanding of memory use and general behavior. We present results of this approach on synthetic environments and six Atari games. The resulting finite representations are surprisingly small in some cases, using as few as 3 discrete memory states and 10 observations for a perfect Pong policy. We also show that these finite policy representations lead to improved interpretability.

연구 동기 및 목표

• 고차원적인 연속적인 메모리와 관측 벡터로 인해 이해하기 어려운 순환 신경망(RNN) 정책의 해석 가능성 향상.
• 복잡한 게이팅 메커니즘으로 인해 투명한데도 결정 부문에서 중요한 메모리 사용 분석의 과제 해결.
• 성능을 유지하면서도 분석이 가능한 유한상태 표현을 학습하는 방법 개발.
• RNN 정책이 메모리, 관측, 또는 둘 다에 의존하는지 여부를 식별하여 반응형 또는 오픈 루프 제어인지 밝혀내기.
• 추출된 Moore 기계를 통해 정책 행동의 시각화와 형식적 분석 가능화.

제안 방법

• 연속적인 RNN 메모리 상태와 관측 벡터를 인코딩하기 위해 양자화된 잠재 표현을 갖는 Quantized Bottleneck Networks(QBNs)를 오토에코더로 훈련.
• QBNs를 기존 훈련된 RNN의 연속적인 메모리 및 관측 '선로' 대신 삽입하여 이산 상태를 갖는 Moore 기계 네트워크(MMN)로 정책을 변환.
• 비미분 가능한 양자화 단계가 존재하더라도 '직선 통과'(straight-through) 기울기 추정기를 사용해 QBNs를 훈련.
• 동치 상태를 군집화하고 표준 유한 상태 기계(FSM) 최소화 기법을 사용해 MMN에서 Moore 기계를 추출.
• 양자화로 인해 발생한 정확도 오류를 수정하기 위해 추출된 Moore 기계를 미세 조정.
• 유한상태 기계의 시각화 및 분석을 통해 메모리와 관측 사용 패턴을 해석.

실험 결과

연구 질문

• RQ1 성능을 유지하면서도 해석 가능성을 확보하는 RNN 정책의 유한상태 표현을 학습할 수 있는가?
• RQ2 정확한 RNN 정책 표현을 위해 필요한 최소한의 이산 메모리 상태 수와 관측 기능 수는 얼마인가?
• RQ3 어느 Atari 게임에서 RNN 정책이 메모리, 관측, 또는 둘 다에 주로 의존하는가? 이는 반응형 또는 오픈 루프 제어를 의미하는가?
• RQ4 통제된 메모리 사용이 있는 합성 환경에서 이 방법이 알려진 참값 Moore 기계를 정확하게 복원할 수 있는가?
• RQ5 추출된 Moore 기계의 구조를 분석함으로써 정책 행동에 대한 어떤 통찰을 얻을 수 있는가?

주요 결과

• 합성 환경에서 알려진 메모리 구조를 갖는 참값 Moore 기계를 성공적으로 추출하여 표현 학습의 정확성을 입증.
• Atari 게임에서 추출된 Moore 기계는 원래 RNN 정책과 거의 동일한 성능를 유지했으며, 미세 조정 후 성능 저하가 최소한이었다.
• Pong 정책의 경우 오직 3개의 이산 메모리 상태와 10개의 관측만으로도 완벽한 성능를 달성하여 매우 압축된 메모리 사용을 나타냈다.
• Bowling과 Freeway에서는 RNN이 메모리를 최소한으로 사용하거나 관측을 완전히 무시함을 분석으로 밝혀내어 반응형 또는 오픈 루프 제어 전략임을 확인.
• Space Invaders와 Boxing에서는 추출된 Moore 기계의 구조를 통해 메모리와 관측이 의미 있게 사용되고 있음을 확인.
• RNN을 직접 관찰하는 것만으로는 드러나지 않는 정책 행동 패턴(예: 특정 게임에서 의미 있는 메모리 사용 없음)을 식별할 수 있었다.