[논문 리뷰] Predictive Coding for Locally-Linear Control

Rui Shu, Tung Nguyen외 6명|arXiv (Cornell University)|2020. 03. 02.

Advanced Control Systems Optimization참고 문헌 33인용 수 4

한 줄 요약

이 논문은 다음 관측값 예측을 예측 코드화로 대체하여 국소 선형 제어를 위한 제어 가능한 잠재 공간을 학습하는 디코더가 없는 학습 가능한 잠재표현(LCE) 프레임워크를 제안한다. 이 방법은 PC3로 불리며, 정보 이론적 목적함수를 통해 예측의 비최적성( predictive suboptimality)을 최소화하여 더 빠른 학습과 향상된 샘플 효율성으로 뛰어난 제어 성능을 달성한다.

ABSTRACT

High-dimensional observations and unknown dynamics are major challenges when applying optimal control to many real-world decision making tasks. The Learning Controllable Embedding (LCE) framework addresses these challenges by embedding the observations into a lower dimensional latent space, estimating the latent dynamics, and then performing control directly in the latent space. To ensure the learned latent dynamics are predictive of next-observations, all existing LCE approaches decode back into the observation space and explicitly perform next-observation prediction---a challenging high-dimensional task that furthermore introduces a large number of nuisance parameters (i.e., the decoder) which are discarded during control. In this paper, we propose a novel information-theoretic LCE approach and show theoretically that explicit next-observation prediction can be replaced with predictive coding. We then use predictive coding to develop a decoder-free LCE model whose latent dynamics are amenable to locally-linear control. Extensive experiments on benchmark tasks show that our model reliably learns a controllable latent space that leads to superior performance when compared with state-of-the-art LCE baselines.

연구 동기 및 목표

• 원시 감각 입력을 사용하여 고차원이고 알려지지 않은 동역학 시스템을 제어하는 데 도전하는 것.
• 고성능 디코더를 필요로 하는 기존 LCE 방법의 한계를 극복하는 것.
• 예측의 비최적성을 최소화하여 효과적인 잠재공간 계획을 보장하는 파라미터 효율적이고 디코더가 없는 LCE 모델을 개발하는 것.
• 예측 코드화를 통해 학습된 제어 가능한 잠재역학 모델을 바탕으로 신뢰할 수 있고 효율적인 국소 선형 제어를 가능하게 하는 것.
• 예측 코드화가 LCE 프레임워크에서 다음 관측값 예측과 이론적으로 타당하고 경험적으로 열등한 대안임을 입증하는 것.

제안 방법

• 잠재공간에서 예측의 비최적성을 최소화하는 정보 이론적 목적함수를 통해 LCE 문제를 수립하는 것.
• 명시적인 다음 관측값 예측을 예측 코드화로 대체하여, 컨텍스트에서 미래의 잠재 상태를 재구성하는 방식으로 학습하는 것.
• 표현 품질, 역학 일관성, 곡률 정규화를 동시에 최적화하는 예측 코드화-일관성-곡률(PC3) 목적함수를 도입하는 것.
• 대조적 예측 코드화 손실을 사용하여 잠재역학 모델이 다단계 계획에 적합하고 예측 가능하도록 보장하는 것.
• 디코더 없이 인코더와 잠재역학 모델을 엔드 투 엔드로 훈련하여 모델 복잡도와 파라미터 수를 감소시키는 것.
• 훈련 후에 학습된 예측 역학을 기반으로 직접 잠재공간에서 국소 선형 제어 방법(LQR 등)을 적용하는 것.

실험 결과

연구 질문

• RQ1 예측 코드화는 LCE 프레임워크에서 명시적인 다음 관측값 예측의 타당하고 이론적으로 정당화된 대안이 될 수 있는가?
• RQ2 예측 코드화를 통해 훈련된 디코더가 없는 LCE 모델은 다음 관측값 예측에 의존하는 기준 모델들보다 더 뛰어난 제어 성능과 샘플 효율성을 달성하는가?
• RQ3 예측 코드화는 기준 모델들과 비교해 학습된 잠재공간의 해석 가능성과 제어 가능성에 어떤 영향을 미치는가?
• RQ4 PC3 목적함수의 각 구성 요소(예측 코드화, 일관성, 곡률)가 최종 제어 성능에 기여하는 정도는 어떠한가?
• RQ5 예측 코드화는 디코더가 필요 없이 고차원 관측 공간에서 효과적이고 효율적인 국소 선형 제어를 가능하게 하는가?

주요 결과

• PC3 모델은 PCC와 SOLAR를 포함한 최신 LCE 기준 모델들보다 여러 벤치마크 제어 과제에서 뚜렷한 성능 향상을 보이며, 평균적으로 11.3%의 성능 향상을 기록했다.
• PC3는 PCC 대비 1.85배, SOLAR 대비 52.8배 더 빠른 학습 속도를 기록하여 상당한 계산 효율성 향상을 입증했다.
• PC3가 학습한 잠재 표현은 더 해석 가능하고 의미적으로 더 명확한데, 특히 PCC의 다음 관측값 예측가로 과도하게 보수적인 표현을 유도하는 펜듈럼과 같은 과제에서 뚜렷하다.
• 제거 실험 결과, 예측 코드화만으로는 양호한 계획 성능을 달성하지 못하며, 안정적이고 정확한 잠재역학을 확보하기 위해 일관성과 곡률 정규화의 추가가 필수적임을 확인했다.
• PC3는 재학습 없이도 여러 제어 과제에서 학습된 잠재역학을 효과적으로 재사용할 수 있는데, 이는 SOLAR와 같은 과제 특화 방법과 대비된다.
• Swing Up 및 3-Link와 같은 도전적인 과제에서 PC3는 높은 성공률을 기록했으며, PCC와 SOLAR는 낮은 표현 품질이나 높은 계산 비용으로 인해 자주 실패한다.