[논문 리뷰] Re-understanding Finite-State Representations of Recurrent Policy Networks

Mohamad H. Danesh, Anurag Koul외 2명|arXiv (Cornell University)|2020. 06. 06.

Social Policy and Reform Studies인용 수 5

한 줄 요약

이 논문은 양자화된 RNN에서 유도된 최소화되지 않은 유한 상태 기계(FSM)를 분석하여 순환 정책 네트워크의 해석 가능성에 새로운 방법을 제안한다. 이 방법은 의미적으로 유의미한 의사결정 지점을 유지한다. 기존의 방법은 FSM을 최소화하여 전략적 통찰을 은폐했지만, 본 방법은 해석 가능한 압축, 미분형 주의 메커니즘, 기능적 프루닝을 사용하여 아케이드 게임 정책이 실제로는 관찰을 최소한으로 활용하는 개방형 루프 컨트롤러임을 드러낸다.

ABSTRACT

We introduce an approach for understanding control policies represented as recurrent neural networks. Recent work has approached this problem by transforming such recurrent policy networks into finite-state machines (FSM) and then analyzing the equivalent minimized FSM. While this led to interesting insights, the minimization process can obscure a deeper understanding of a machine's operation by merging states that are semantically distinct. To address this issue, we introduce an analysis approach that starts with an unminimized FSM and applies more-interpretable reductions that preserve the key decision points of the policy. We also contribute an attention tool to attain a deeper understanding of the role of observations in the decisions. Our case studies on 7 Atari games and 3 control benchmarks demonstrate that the approach can reveal insights that have not been previously noticed.

연구 동기 및 목표

• FSM 최소화가 의미적으로 구분 가능한 상태를 융합하여 순환 정책 네트워크를 해석하는 데 한계가 있음을 해결한다.
• 주의 기반 분석에서의 주관성과 오해의 여지를 줄이기 위해 더 체계적이고 해석 가능한 FSM 기반 프레임워크를 도입한다.
• 특히 복잡한 제어 과제에서 RNN 정책의 FSM 표현에서 의사결정 논리와 전략적 의미를 유지하는 기법을 개발한다.
• 관찰이 정책 결정에서 전략적으로 의미 있는 역할을 하는지, 아니면 비효율적인 정책 학습의 산물일 뿐인지 조사한다.
• 기능적 프루닝을 통해 관찰 조건부 분기의 필요성을 테스트하여 정책이 진정으로 반응형인지, 아니면 실제로는 개방형 루프 컨트롤러인지 밝혀낸다.

제안 방법

• 학습된 순환 정책 네트워크(RNN)의 관찰과 메모리 값을 이산 상태로 양자화하여 최소화되지 않은 무어 기계(MM) 표현을 구성한다.
• 비분기 상태의 연속을 추상적 전이로 대체하는 등 의사결정 논리와 분기 상태를 유지하면서 FSM 시각화를 압축하는 해석 가능한 압축 기법을 적용한다.
• 비분기 상태의 연속을 추상적 전이로 대체하는 등 의사결정 논리와 분기 상태를 유지하면서 FSM 시각화를 압축하는 해석 가능한 압축 기법을 적용한다.
• 분기 상태에서 결정에 가장 영향을 주는 입력 특징을 식별하기 위해 미분형 주의 메커니즘을 도입하여 관찰의 관련성에 대한 통찰을 제공한다.
• 각 결정 지점에서 하나의 분기 외에 모두 제거하는 방식으로 기능적 프루닝을 수행하여 관찰 기반 분기가 전략적으로 필수적인지 테스트한다.
• 결과로 도출된 단순화된 FSM을 사용해 정책 행동을 분석하고 관찰에 의존하는 분기 없이도 성능이 유지되는지 평가한다.
• 7개의 결정적 아케이드 게임과 3개의 연속 제어 벤치마크에서 본 방법을 검증하며, 이전의 주의 기반 방법과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 FSM 분석을 통해 아케이드 게임에 훈련된 순환 정책 네트워크에서 관찰이 얼마나 전략적으로 기여하는가?
• RQ2 최소화되지 않은 FSM 표현이 최소화된 FSM에서 가려지는 의미적으로 중요한 의사결정 지점을 유지할 수 있는가?
• RQ3 관찰에 대한 주의 맵은 전략적 중요성의 신뢰할 수 있는 지표인가, 아니면 직관에 어긋나는 특징 가중치로 인해 오해를 낳을 수 있는가?
• RQ4 결정적 환경에서의 순환 정책은 관찰 기반 전략을 학습하는가, 아니면 실제로는 개방형 루프 컨트롤러로 축소되는가?
• RQ5 기능적 프루닝을 통해 관찰 조건부 분기가 본질적인지, 아니면 비효율적인 정책 학습의 산물일 뿐인지 식별할 수 있는가?

주요 결과

• 분석된 모든 아케이드 게임 정책은 결정 지점에서 하나의 분기 외에 모두 제거된 후에도 성능을 유지하여, 실제로는 프루닝된 개방형 루프 컨트롤러임을 확인했다.
• 미분형 주의 메커니즘이 아케이드 게임에서 관찰이 전략적으로 의미 있는 결정에 자주 사용되지 않음을 드러내었으며, 주의가 비직관적이거나 중복적인 특징에 집중하는 경향이 있었다.
• Acrobot과 Lunar Lander와 같은 연속 제어 과제에서는 FSM이 해석 가능한 의사결정 논리를 드러내었으며, 행동 선택에 속도 기반 임계값을 사용하는 경우가 있었다.
• Lunar Lander의 경우, 초기 결정 지점에서 속도 특징을 사용해 추진기 작동 행동을 선택했고, 위치와 다리 상태는 무시하여 전략적 초기 안정화 단계임을 시사했다.
• 스토케스틱 환경에서는 FSM이 크고 분할되어 있어 현재의 양자화 기법의 한계이거나, 정책이 가장 가까운 이웃 유사 방식으로 행동을 인코딩할 수 있음을 시사했다.
• Lunar Lander와 같은 복잡하고 스토케스틱한 환경에서는 기능적 프루닝이 효과적이지 않아 관찰이 이러한 과제에서 강력한 전략적 역할을 한다고 나타났으며, 이는 결정적 아케이드 게임과는 다름을 확인했다.