[논문 리뷰] Hierarchical State Abstraction Based on Structural Information Principles

Xianghua Zeng, Hao Peng외 4명|arXiv (Cornell University)|2023. 04. 24.

Neural dynamics and brain functionNeuroscience인용 수 3

한 줄 요약

이 논문은 고차원 관측에서 강화학습의 샘플 효율성과 성능을 향상시키기 위해 구조적 정보 원칙 기반의 새로운 계층적 상태 추상화 프레임워크인 SISA를 제안한다. 비지도 계층적 군집화, 구조 엔트로피로 가중된 학습 가능한 집계 함수, 그리고 정보 손실을 완화하기 위한 조건부 구조 엔트로피를 활용함으로써, SISA는 어려운 연속 제어 벤치마크에서 최신 기술(SOTA) 기준보다 평균 에피소드 보상이 최대 18.98% 높고 샘플 효율성이 최대 44.44% 향상된 성능을 달성한다.

ABSTRACT

State abstraction optimizes decision-making by ignoring irrelevant environmental information in reinforcement learning with rich observations. Nevertheless, recent approaches focus on adequate representational capacities resulting in essential information loss, affecting their performances on challenging tasks. In this article, we propose a novel mathematical Structural Information principles-based State Abstraction framework, namely SISA, from the information-theoretic perspective. Specifically, an unsupervised, adaptive hierarchical state clustering method without requiring manual assistance is presented, and meanwhile, an optimal encoding tree is generated. On each non-root tree node, a new aggregation function and condition structural entropy are designed to achieve hierarchical state abstraction and compensate for sampling-induced essential information loss in state abstraction. Empirical evaluations on a visual gridworld domain and six continuous control benchmarks demonstrate that, compared with five SOTA state abstraction approaches, SISA significantly improves mean episode reward and sample efficiency up to 18.98 and 44.44%, respectively. Besides, we experimentally show that SISA is a general framework that can be flexibly integrated with different representation-learning objectives to improve their performances further.

연구 동기 및 목표

• 고차원적이고 노이즈가 많은 관측에서 상태 추상화에 있어 불필요한 정보와 필수 정보의 균형을 맞추는 데 도전하는 데 목적이 있다.
• 수동적인 초모수 조정에 의존하지 않도록, 상태 추상화를 위한 비지도 적응형 계층적 군집화 방법을 개발하는 데 목적이 있다.
• 특히 마르코프 추상화에서 샘플링에 기인한 정보 손실을 줄이기 위해 새로운 조건부 구조 엔트로피 메커니즘을 도입하는 데 목적이 있다.
• 기존의 표현 학습 目표와의 탄력적인 통합이 가능한 일반화된 프레임워크를 설계하여 성능 향상을 더욱 높이는 데 목적이 있다.
• 작업의 동역학이나 보상 구조를 훼손하지 않으면서도 복잡한 의사결정 과제에서 뛰어난 샘플 효율성과 최종 성능를 달성하는 데 목적이 있다.

제안 방법

• 수동적 간섭 없이 최적의 인코딩 트리를 구성하기 위해 구조화, 희소화, 최적화 모듈을 활용한 비지도 적응형 계층적 상태 군집화 방법을 제안한다.
• 루트가 아닌 트리의 각 내부 노드에서 새로운 집계 함수를 정의하며, 할당된 구조 엔트로피를 가중치로 사용하여 잎에서 루트로 향하는 계층적 추상화를 가능하게 한다.
• 샘플링 및 압축 과정에서 손실된 핵심 정보를 보완하기 위해 상태 관계를 재구성하기 위해 조건부 구조 엔트로피를 도입한다.
• 표현 학습 목표를 포함한 오토인코더 기반 아키텍처를 사용하여 상태 임베딩을 정밀하게 다듬고 계층적 군집화를 지원한다.
• 기존의 추상화 방법(예: 마르코프 추상화, SAC-AE 등)과의 통합이 가능하도록 설계되어 성능 향상에 기여할 수 있도록 한다.
• 최적의 인코딩 트리는 엔드 투 엔드로 학습되며, 자동 추상화를 가능하게 하여 점차 불필요한 세부 정보를 무시하면서도 작업에 필수적인 동역학을 유지한다.

실험 결과

연구 질문

• RQ1 수동적 초모수 조정이 필요 없는 비지도 적응형 계층적 상태 추상화 프레임워크를 개발할 수 있는가?
• RQ2 강화학습의 상태 추상화 과정에서 정보 손실을 최소화하기 위해 구조적 정보 원칙을 어떻게 활용할 수 있는가?
• RQ3 조건부 구조 엔트로피는 샘플링 환경에서 손실된 상태 관계를 어느 정도 재구성할 수 있으며, 추상화의 정확도를 향상시키는 데 기여하는가?
• RQ4 제안된 프레임워크는 기존의 표현 학습 목표와 일반화되고 통합되어 성능 향상에 기여할 수 있는가?
• RQ5 최적의 인코딩 트리 상에서의 계층적 추상화 과정은 복잡한 제어 과제에서 샘플 효율성과 최종 성능에 상당한 향상을 가져오는가?

주요 결과

• SISA는 6개의 DMControl 환경에서 최신 기술(SOTA) 기준보다 평균 에피소드 보상이 최대 18.98% 높은 성능를 달성한다.
• SISA는 샘플 효율성을 최대 44.44% 향상시켜, ball_in_cup-catch 과제에서 목표 성능에 도달하기 위한 환경 스텝 수를 45,000에서 25,000으로 감소시킨다.
• 절단 실험 결과, 최적화 및 추상화 단계 모두가 필수적임을 확인하였으며, 이중 하나가 빠진 변형보다 최종 성능, 샘플 효율성, 학습 안정성에서 SISA가 뛰어난 성능를 보였다.
• 마르코프 추상화(Markov-SISA) 및 SAC-AE(SAC-SISA)와의 통합은 ball_in_cup-catch 및 cartpole-swingup 과제에서 원래 방법보다 더 높은 최종 성능와 샘플 효율성을 달성한다.
• 최적의 인코딩 트리 상에서의 계층적 추상화 과정은 필수적인 동역학과 보상 구조를 효과적으로 유지하며, rich observations를 가진 도전적인 과제에서 뛰어난 성능를 발휘한다.
• SISA는 강력한 일반화 능력을 보이며, 시각적 격자 환경과 DMControl 벤치마크에서 온라인 및 오프라인 설정 모두에서 최신 기술(SOTA) 수준의 성능를 달성한다.