[논문 리뷰] Is prioritized sweeping the better episodic control?

Johanni Brea|arXiv (Cornell University)|2017. 11. 20.

Neural dynamics and brain function참고 문헌 9인용 수 4

한 줄 요약

이 논문은 결정성 및 비결정성 환경 전반에서 샘플 효율성 측면에서 우선순위 기반 스위핑(prioritized sweeping)이 에피소딕 제어(episodic control)를 능가함을 보여주며, 메모리 및 계산 요구량은 동일하게 유지한다. 에피소딕 제어는 결정성 트리 MDP에서 우선순위 기반 스위핑의 한 형태와 동치임을 보여주지만, 우선순위 기반 스위핑은 더 잘 일반화되고 더 빠르게 수렴하므로, 인공 및 생물학적 시스템에서 에피소딕 기억과 의사결정 간의 연결에 더 우월한 알고리즘적 기반으로 제안된다.

ABSTRACT

Episodic control has been proposed as a third approach to reinforcement learning, besides model-free and model-based control, by analogy with the three types of human memory. i.e. episodic, procedural and semantic memory. But the theoretical properties of episodic control are not well investigated. Here I show that in deterministic tree Markov decision processes, episodic control is equivalent to a form of prioritized sweeping in terms of sample efficiency as well as memory and computation demands. For general deterministic and stochastic environments, prioritized sweeping performs better even when memory and computation demands are restricted to be equal to those of episodic control. These results suggest generalizations of prioritized sweeping to partially observable environments, its combined use with function approximation and the search for possible implementations of prioritized sweeping in brains.

연구 동기 및 목표

• 우선순위 기반 스위핑이 샘플 효율성과 계산 효율성 측면에서 에피소딕 제어를 얼마나 능가하는지 조사하기.
• 특정 환경에서 에피소딕 제어가 이론적으로 우선순위 기반 스위핑의 한 형태와 동치인지 확인하기.
• 우선순위 기반 스위핑이 부분 관측 가능하고 비결정성 있는 환경으로 일반화 가능한지 탐색하기.
• 뇌에서의 신경망 구현 및 기능 근사와 관련하여 우선순위 기반 스위핑의 잠재적 영향 분석하기.
• 우선순위 기반 스위핑이 강화 학습에서 에피소딕 제어보다 더 효과적이고 일반화 가능한 대안이 될 수 있는지 평가하기.

제안 방법

• 에피소딕 제어의 메모리 제약 조건을 충족시키기 위해 각 에피소드 종료 시 모델을 재설정하는 우선순위 기반 스위핑의 변형을 제안한다.
• 후방 탐색을 통해 우선순위가 부여된 백업을 사용하여 가치 갱신을 효율적으로 전파하며, 이는 에피소딕 제어가 보상 경험에서 지식을 전파하는 방식과 유사하다.
• 부모 상태에 미치는 잠재적 영향의 크기를 기반으로 가치 갱신 대상 상태를 우선순위 큐를 통해 선택한다.
• 표 형태의 환경(결정성 및 비결정성 트리 MDP, 미로 환경 포함)에서 성능를 비교하기 위해 알고리즘을 적용한다.
• 공통된 초모수를 사용하여 Q-러닝과 우선순위 기반 스위핑을 구현하여 메서드 간 공정한 비교를 확보한다.
• 전이 및 보상 테이블 학습의 역할을 분석하여, 에피소딕 제어가 저장된 시퀀스에 의존하는 것과 대비한다.

실험 결과

연구 질문

• RQ1 결정성 트리 MDP에서 에피소딕 제어는 우선순위 기반 스위핑의 어떤 형태와 이론적으로 동치인가?
• RQ2 일반적인 결정성 및 비결정성 MDP에서 우선순위 기반 스위핑은 샘플 효율성에서 에피소딕 제어를 뛰어넘는가?
• RQ3 에피소딕 제어가 어려움을 겪을 수 있는 부분 관측 가능한 환경으로 우선순위 기반 스위핑을 일반화할 수 있는가?
• RQ4 기능 근사 및 뇌 내 신경적 구현과 관련하여 우선순위 기반 스위핑의 함의는 무엇인가?
• RQ5 우선순위 기반 스위핑은 생물학적으로 타당한 에피소딕 기억 기반 의사결정의 메커니즘이 될 수 있는가?

주요 결과

• 결정성 트리 MDP에서, 에피소딕 제어는 샘플 효율성, 메모리 사용량, 계산 복잡도 측면에서 특정 형태의 우선순위 기반 스위핑과 수학적으로 동치이다.
• 일반적인 결정성 및 비결정성 MDP에서, 우선순위 기반 스위핑은 동일한 메모리 및 계산 예산을 가진 상태에서 에피소딕 제어보다 뛰어난 샘플 효율성을 달성한다.
• 제안된 모델 재설정 변형은 에피소딕 제어와 동일한 계산 부하를 유지하면서 학습 속도와 최적 정책 수렴 속도에서 뚜렷한 승리를 거두었다.
• 우선순위 기반 스위핑은 모델 학습에 의존함으로써 분기 상태 전이를 통해 더 효과적인 가치 전파를 가능하게 하며, 이는 에피소딕 제어가 효과적으로 활용하지 못하는 영역이다.
• 결과적으로 우선순위 기반 스위핑은 샘플 효율성 뿐 아니라 일반화 능력에서도 에피소딕 제어를 뛰어넘는 것으로 나타났으며, 특히 각 상태가 여러 부모 상태를 가진 환경에서 두드러진다.
• 이 연구는 해마의 샤프 파동 리플(hippocampal sharp wave ripples)에서 우선순위 기반 스위핑의 잠재적 신경 기반을 규명하였으며, 이는 새로운 경로의 역방향 재생이 우선순위 기반 뒷정리 계획을 반영할 수 있음을 시사한다.