[논문 리뷰] Lyapunov Density Models: Constraining Distribution Shift in Learning-Based Control

Katie Kang, Paula Gradu외 4명|arXiv (Cornell University)|2022. 06. 21.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 학습 기반 제어에서 장기적인 분포 내 행동을 보장하기 위해 밀도 추정과 제어 라플라스 함수를 결합한 새로운 프레임워크인 라플라스 밀도 모델(Lyapunov Density Models, LDMs)을 제안한다. 데이터 분포 인식과 역학적 안정성을 동시에 보장하는 함수를 학습함으로써, 배포 시에 치명적인 분포 이탈을 방지하며, 근사 오차가 존재하는 상황에서도 표준 밀도 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

Learned models and policies can generalize effectively when evaluated within the distribution of the training data, but can produce unpredictable and erroneous outputs on out-of-distribution inputs. In order to avoid distribution shift when deploying learning-based control algorithms, we seek a mechanism to constrain the agent to states and actions that resemble those that it was trained on. In control theory, Lyapunov stability and control-invariant sets allow us to make guarantees about controllers that stabilize the system around specific states, while in machine learning, density models allow us to estimate the training data distribution. Can we combine these two concepts, producing learning-based control algorithms that constrain the system to in-distribution states using only in-distribution actions? In this work, we propose to do this by combining concepts from Lyapunov stability and density estimation, introducing Lyapunov density models: a generalization of control Lyapunov functions and density models that provides guarantees on an agent's ability to stay in-distribution over its entire trajectory.

연구 동기 및 목표

• 학습 기반 제어에서 모델이 분포 외 입력에서 실패하는 데 기인한 핵심 과제인 분포 이탈 문제를 해결하기 위해.
• 다음 단계가 아니라 전체 궤적에 걸쳐 분포 내 행동을 보장하는 방법을 개발하기 위해.
• 밀도 모델의 데이터 인식 능력과 라플라스 함수의 역학 인식 능력을 융합하여 안정적이고 신뢰할 수 있는 제어를 위한 통합 메커니즘을 만들기 위해.
• 학습 및 근사 오차 하에서 분포 유지에 대한 이론적 보장을 제공하기 위해.
• 학습 데이터 분포 내 상태와 동작에 제약을 두어, 실제 시스템에 데이터 기반 제어기를 안전하게 구현할 수 있도록 하기 위해.

제안 방법

• 제어 라플라스 함수와 밀도 모델의 일반화로 라플라스 밀도 모델(Lyapunov Density Models, LDMs)을 제안하며, LDM 함수는 상태-행동 쌍을 스칼라 값으로 매핑하고, 이 값이 시간이 지남에 따라 감소해야 한다.
• 장기적인 분포 내 행동을 보장하기 위해, 즉각적인 데이터 밀도와 모든 행동에 대한 향후 LDM 값의 최소값을 통합한 LDM용 벨먼 백업 연산자를 정의한다.
• 상태-행동-관측 전이 데이터셋을 기반으로 샘플 기반의 벨먼 업데이트를 사용하여 LDM을 학습하며, 현재 추정치와 경험적 백업 간 잔차를 최소화한다.
• 부분 관측 설정으로 프레임워크를 확장하기 위해 관측 전이 동역학을 모델링하고, 관측 불확실성 하에서 벨먼 연산자의 경험적 추정치를 사용한다.
• 학습된 LDM을 모델 기반 강화 학습의 제약 조건으로 사용하여, 훈련 분포 내 낮은 가능성의 상태나 행동으로 이어지는 행동에 페널티를 가한다.
• LDM 학습 과정이 고정점으로 수렴하며, 오차 범위가 경험적 벨먼 업데이트의 정확도와 관측 분산에 따라 결정됨을 보여주는 이론적 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 다음 단계가 아니라 장기적인 궤적에 걸쳐 분포 내 행동을 보장하는 학습 기반 제어 프레임워크를 설계할 수 있는가?
• RQ2 밀도 추정과 라플라스 안정성의 장점을 융합하여 통합된 분포 인식 제어 메커니즘을 만들 수 있는가?
• RQ3 근사 오차와 부분 관측성 하에서 이러한 통합 모델의 수렴성과 강건성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 모델 오차가 존재하는 상황에서 LDM을 사용할 경우 표준 밀도 모델 대비 성능과 신뢰성이 향상되는가?
• RQ5 진짜 상태가 완전히 가시하지 않은 부분 관측 시스템에 LDM 프레임워크는 어떻게 적응하는가?

주요 결과

• LDM 프레임워크는 데이터 인식과 역학 인식을 동시에 고려하는 감소하는 라플라스 유사 함수를 강제함으로써, 무한한 수의 시간 단계 동안 시스템이 분포 내에 머물도록 보장한다.
• 이론적 분석을 통해 LDM 학습 알고리즘이 경험적 벨먼 업데이트의 정확도와 관측 전이의 분산에 따라 오차가 유한한 범위 내에서 수렴함을 보였다.
• 부분 관측 설정에서는 관측 불확실성으로 인해 추가적인 오차 항이 LDM 보장에 포함되며, 관측 품질 향상에 따라 이 오차는 점차 사라진다.
• 실증 평가를 통해 LDM을 모델 기반 RL의 제약 조건으로 사용할 경우, 밀도 모델만 사용하는 것보다 강건성과 성능이 향상됨을 입증하였다.
• 근사 오차가 존재하는 상황에서도 LDM 프레임워크는 내재된 안정성과 장기적 수렴 보장을 바탕으로 표준 밀도 모델을 능가한다.
• 정확도가 경험적 벨먼 연산자 추정치에 따라 달라지는 수렴 속도를 보이며, 완전 관측 및 부분 관측 설정 모두에서 효과적이다.