[논문 리뷰] Memory Augmented Control Networks

Arbaaz Khan, Clark Zhang외 4명|arXiv (Cornell University)|2017. 09. 17.

Reinforcement Learning in Robotics참고 문헌 20인용 수 38

한 줄 요약

이 논문은 희박한 보상 조건 하에서 부분 관측 가능한 경로 계획 문제를 해결하기 위해 국소적 및 전역적 수준으로 계획을 분할하는 계층적 딥 강화 학습 아키텍처인 메모리 보강 제어 네트워크(MACN)를 제안한다. 기울기 가능 메모리 네트워크와 국소적으로 최적화된 정책을 조합함으로써 MACN은 새로운 환경으로의 강건한 일반화 성능를 달성하고, 고차원 상태 및 행동 공간을 가진 복잡한 격자 세계 작업에서 표준 메모리 보강 및 LSTM 기반 모델을 능가한다.

ABSTRACT

Planning problems in partially observable environments cannot be solved directly with convolutional networks and require some form of memory. But, even memory networks with sophisticated addressing schemes are unable to learn intelligent reasoning satisfactorily due to the complexity of simultaneously learning to access memory and plan. To mitigate these challenges we introduce the Memory Augmented Control Network (MACN). The proposed network architecture consists of three main parts. The first part uses convolutions to extract features and the second part uses a neural network-based planning module to pre-plan in the environment. The third part uses a network controller that learns to store those specific instances of past information that are necessary for planning. The performance of the network is evaluated in discrete grid world environments for path planning in the presence of simple and complex obstacles. We show that our network learns to plan and can generalize to new environments.

연구 동기 및 목표

• 희박한 보상 조건 하에서 부분 관측 가능한 환경에서 최적의 정책을 학습하는 데 도전하는 것. 표준 딥 네트워크는 기억력과 계획 능력의 부족으로 실패한다.
• 전이 학습 가능한 컨볼루션 및 순환 네트워크의 장기 상태 추정 및 미지 환경에 대한 추론 능력에 한계가 있음을 극복하는 것.
• 기울기 가능 메모리 메커니즘을 사용해 국소 계획과 전역 정책 학습을 분리함으로써 확장 가능하고 일반적인 목적의 아키텍처를 설계하는 것.
• 학습 중에 볼 수 없었던 새로운 환경과 복잡한 장애물 구성으로의 일반화 능력을 평가하는 것.
• 모듈러하고 계층적인 제어 구조를 사용해 고차원 상태 및 행동 공간에서 효과적인 계획을 수행하는 것.

제안 방법

• MACN은 계층적 아키텍처를 사용한다: 국소 계획 모듈은 국소적으로 관측된 환경 특징 기반으로 정책을 계산하고, 전역 제어자는 기울기 가능 메모리 네트워크를 사용해 전체 환경에 대한 믿음 상태를 유지한다.
• 메모리 네트워크는 학습 가능한 읽기 및 쓰기 연산을 가진 기울기 가능 신경 컴퓨터(DNC)로 구현되어, 방문한 상태와 장애물에 대한 정보를 저장하고 검색할 수 있다.
• 국소 정책은 국소 관측에 적용된 가치 반복 네트워크(VIN)를 사용해 계산되며, 근처 상태의 압축된 특징 풍부한 표현을 생성한다.
• 전역 제어자는 국소 정책과 메모리 기반 환경 상태를 조합하여 행동을 생성하며, 관련 메모리 위치에 집중하기 위해 소프트 어텐션 메커니즘을 사용한다.
• 전체 네트워크는 강화 학습을 통해 엔드 투 엔드로 훈련되며, 희박한 보상과 정책 기반 강화 방법을 사용해 전역 정책을 최적화한다.
• 아키텍처는 명시적인 2D 지도 구축을 피함으로써 비격자 또는 투영 불가능한 환경에 적용 가능하며, 이산 및 연속 제어를 모두 지원한다.

실험 결과

연구 질문

• RQ1 메모리 보강 딥 강화 학습 모델은 희박한 보상 조건 하에서 부분 관측 가능한 환경에서 효과적인 계획 정책를 학습할 수 있는가?
• RQ2 국소 및 전역 계획의 계층적 분해는 엔드 투 엔드 모델 대비 샘플 효율성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 학습 중에 볼 수 없었던 복잡한 장애물 또는 터널 구조를 가진 새로운 환경으로의 일반화 능력은 어느 정도인가?
• RQ4 기울기 가능 메모리 메커니즘의 사용은 계획 작업에서 장기 기억 유지 및 추론 능력을 향상시키는가?
• RQ5 모델은 성능 저하 없이 고차원 상태 및 행동 공간으로 확장 가능한가?

주요 결과

• MACN은 단순한 장애물이 있는 격자 세계(G)에서 100%의 테스트 성공률을 기록했으며, 20단위 길이의 터널 환경(L)에서도 100% 성공률을 달성하여, 표준 LSTM 및 LSTM만을 사용하는 MACN보다 뛰어난 성능을 보였다.
• 복잡한 장애물이 있는 환경에서는 평균 경로 길이 비율을 1.07로 줄여 A*의 비율(1.0)과 거의 동일한 성능를 나타내었다.
• 모델는 새로운 환경, 특히 더 긴 터널(예: 40단위)과 새로운 장애물 구성으로의 일반화가 효과적으로 이루어져 훈련 분포를 초월한 강건한 일반화 능력을 보였다.
• MACN은 연속 제어 작업에서 뛰어난 성능를 보였으며, 이는 이론적 적용 범위가 이산 격자 세계를 초월함을 시사한다.
• 제거 실험 결과, 국소 정책 계산과 메모리 기반 전역 계획을 결합한 계층적 설계가 학습 안정성과 최종 성능를 크게 향상시킴을 확인하였다.
• 모델는 여러 랜덤 시드와 환경에서 일관된 성능를 유지하여 강력한 훈련 신뢰성과 강건성을 보였다.