[논문 리뷰] Control Capacity of Partially Observable Dynamic Systems in Continuous Time

Stas Tiomkin, Daniel Polani외 1명|arXiv (Cornell University)|2017. 01. 18.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 14

한 줄 요약

이 논문은 연속시간, 선형, 부분 관측 가우시안 시스템에서 제어에서 상태로의 정보 용량(능력성)을 효율적으로 계산하는 방법을 제안한다. 분석 결과, 미래 상태 제어에 의미적으로 기여하는 것은 과거 제어 신호의 유한한 시간 창 뿐이며, 이 용량은 시스템의 시간 상수에 의해 제한되고, 제어 가능성 그레모니안의 스펙트럼 분해에 대한 워터필링 절차에 의해 규정된다.

ABSTRACT

Stochastic dynamic control systems relate in a prob- abilistic fashion the space of control signals to the space of corresponding future states. Consequently, stochastic dynamic systems can be interpreted as an information channel between the control space and the state space. In this work we study this control-to-state informartion capacity of stochastic dynamic systems in continuous-time, when the states are observed only partially. The control-to-state capacity, known as empowerment, was shown in the past to be useful in solving various Artificial Intelligence & Control benchmarks, and was used to replace problem-specific utilities. The higher the value of empowerment is, the more optional future states an agent may reach by using its controls inside a given time horizon. The contribution of this work is that we derive an efficient solution for computing the control-to-state information capacity for a linear, partially-observed Gaussian dynamic control system in continuous time, and discover new relationships between control-theoretic and information-theoretic properties of dynamic systems. Particularly, using the derived method, we demonstrate that the capacity between the control signal and the system output does not grow without limits with the length of the control signal. This means that only the near-past window of the control signal contributes effectively to the control-to-state capacity, while most of the information beyond this window is irrelevant for the future state of the dynamic system. We show that empowerment depends on a time constant of a dynamic system.

연구 동기 및 목표

• 이전에 이산 시간 및 이산 상태에서 연구된 능력성 개념을 연속시간, 연속 상태 동적 시스템으로 확장하기 위해.
• 연속시간 동역학 하에서 선형, 부분 관측, 가우시안 시스템의 제어에서 상태로의 정보 용량에 대한 효율적인 해석적 해를 도출하기 위해.
• 시스템의 시간 상수, 제어 신호 역사, 그리고 그로 인한 정보 용량 사이의 관계를 밝혀내기 위해.
• 무한한 과거 메모리 의존성이라는 가정에 도전하며, 오직 유한한 과거 창의 제어 신호만이 미래 상태 제어 가능성에 기여한다는 것을 입증하기 위해.
• 제어 가능성 그레모니안의 스펙트럼 분해와 반복 워터필링을 이용한 계산 가능 프레임워크를 제공하기 위해.

제안 방법

• 제어 입력과 시스템 출력 사이의 스토케스틱 정보 채널로 동적 시스템을 모델링하며, 연속시간 가우시안 과정을 사용한다.
• 제어 가능성 그레모니안의 스펙트럼 분해를 통해 제어와 최종 상태 간의 상호정보량을 유도하며, 제어 함수의 명시적 전개를 피한다.
• 그레모니안의 고유분해에서 유도된 'z-벡터'를 도입하여 상태 공간 내 효과적인 제어 방향을 표현한다.
• 상호정보량을 최대화하기 위해 제어 과정의 이중수직 전개에 대한 최적 분산을 계산하기 위해 워터필링 알고리즘을 적용한다.
• 리아푸노프 방정식과 시스템 안정성 특성을 활용하여 능력성의 시간 상수 의존성을 특성화한다.
• 최대 용량이 무한한 제어 역사에 의해 달성되는 것이 아니라, 시스템 동역학에 의해 결정되는 유한한 효과적 시간 창에 의해 달성된다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 연속시간 선형 동적 시스템에서 정보이론적 제어 용량(능력성)은 어떻게 효율적으로 계산할 수 있는가?
• RQ2 시스템의 시간 상수가 미래 상태 제어 가능성에 기여하는 제어 신호 역사에 대한 효과적 길이를 결정하는 데 어떤 역할을 하는가?
• RQ3 제어 신호 지속 시간이 증가함에 따라 제어에서 상태로의 용량은 무한히 증가하는가, 아니면 시스템 동역학에 의해 제한되는가?
• RQ4 완전한 제어 신호 함수 공간을 명시적으로 매개변수화하지 않고도 부분 관측 시스템의 능력성을 계산할 수 있는가?
• RQ5 제어 가능성 그레모니안의 스펙트럼 특성은 연속 시간에서 제어 신호 분산의 최적 할당과 어떻게 관련되는가?

주요 결과

• 연속시간 선형 시스템에서 제어에서 상태로의 정보 용량은 유한하며, 제어 신호 지속 시간이 증가함에 따라 무한히 증가하지 않는다.
• 오직 시스템의 시간 상수에 의해 결정되는 유한한 과거 시간 창의 제어 신호만이 미래 상태 제어 가능성에 효과적으로 기여한다.
• 제어 가능성 그레모니안 비율의 유한한 한계로 인해, 시스템 시간 상수 τ가 0에 수렴함에 따라 능력성은 여전히 0이 아니며 유지된다.
• 최적 제어 분산 분포는 제어 가능성 그레모니안의 스펙트럼 성분에 대한 반복 워터필링 절차를 통해 효율적으로 계산된다.
• 이 해법은 제어 신호 기저 함수의 명시적 구성 없이, 그레모니안의 스펙트럼 분해와 z-벡터에 의존한다.
• 유도된 프레임워크는 제어 과정의 이중수직 전개에서의 자유도를 활용하여 에너지 및 복잡도 제약 조건이 있는 제어 시스템 설계를 가능하게 한다.