[논문 리뷰] Stochastic Control via Entropy Compression

Dimitris Achlioptas, Fotis Iliopoulos외 1명|arXiv (Cornell University)|2016. 07. 01.

Advanced Control Systems Optimization인용 수 3

한 줄 요약

이 논문은 상태 관측과 진화가 모두 악성 노이즈에 영향을 받는 환경에서, 엔트로피 압축을 활용한 확률적 제어 프레임워크를 제안한다. 엔트로피를 통해 진전과 노이즈를 정량화함으로써, 노이즈 강도와 시스템의 수용 가능성 사이의 트레이드오프를 수립하고, 노이즈가 없는 극한에서 비대칭 LLL 조건을 복원한다.

ABSTRACT

We consider an agent trying to bring a system to an acceptable state by repeated probabilistic action. Several recent works on algorithmizations of the Lovasz Local Lemma (LLL) can be seen as establishing sufficient conditions for the agent to succeed. Here we study whether such stochastic control is also possible in a noisy environment, where both the process of state-observation and the process of state-evolution are subject to adversarial perturbation (noise). The introduction of noise causes the tools developed for LLL algorithmization to break down since the key LLL ingredient, the sparsity of the causality (dependence) relationship, no longer holds. To overcome this challenge we develop a new analysis where entropy plays a central role, both to measure the rate at which progress towards an acceptable state is made and the rate at which noise undoes this progress. The end result is a sufficient condition that allows a smooth tradeoff between the intensity of the noise and the amenability of the system, recovering an asymmetric LLL condition in the noiseless case.

연구 동기 및 목표

• 상태 관측과 진화가 모두 악성 편향에 영향을 받는 노이즈 환경에서의 확률적 제어 문제를 다루기.
• 노이즈로 인해 인과성 흐름의 흐림이 발생함에 따라 기존의 로바슈 로컬 레미의 알고리즘화 도구가 붕괴되는 문제를 해결하기.
• 엔트로피가 수용 가능한 상태에 대한 진전과 노이즈에 의한 열악화를 모두 측정할 수 있는 새로운 분석 프레임워크를 개발하기.
• 노이즈가 있는 경우와 없는 경우 사이를 부드럽게 연결하는 충분한 조건을 수립하기.
• 노이즈 강도가 사라지는 경우 비대칭 LLL 조건을 특수한 경우로 복원하기.

제안 방법

• 반복적인 확률적 행동 동안 수용 가능한 시스템 상태에 대한 진전 속도를 측정하기 위해 엔트로피가 사용된다.
• 노이즈는 상태 관측과 상태 진화에 영향을 주는 악성 편향으로 모델링되며, 표준 LLL 의존성 관계를 방해한다.
• 시스템 안정성 평가를 위해 엔트로피 증가(진전)와 엔트로피 감소(노이즈에 의한 열악화) 사이의 균형을 프레임워크가 도입한다.
• 노이즈가 존재하더라도 수용 가능한 상태에 도달하는 데 필요한 단계 수를 제한하기 위해 새로운 엔트로피 압축 추론을 적용한다.
• 노이즈 강도와 시스템 구조 간의 상호작용에 따라 성공을 위한 충분한 조건을 유도한다.
• 노이즈를 조정 가능한 파라미터로 포함시켜 비대칭 LLL 조건을 일반화한다.

실험 결과

연구 질문

• RQ1 상태 관측과 진화가 모두 악성 노이즈에 의해 손상되는 시스템에서 확률적 제어가 가능할 수 있는가?
• RQ2 노이즈가 LLL 기반 알고리즘화의 기초가 되는 인과적 의존성의 흐림을 어떻게 방해하는가?
• RQ3 엔트로피는 목표 상태에 대한 진전과 노이즈에 의한 열악화를 어느 정도 정량화할 수 있는가?
• RQ4 노이즈 있는 역학에서 수용 가능한 상태로의 수렴을 보장하는 충분한 조건은 무엇인가?
• RQ5 제안된 방법은 노이즈가 없는 극한에서 비대칭 LLL 조건을 어떻게 복원하는가?

주요 결과

• 엔트로피 증가와 감소를 균형 있게 조절함으로써, 악성 노이즈 환경에서의 확률적 제어를 위한 충분한 조건을 성공적으로 수립하였다.
• 노이즈 강도와 시스템 수용 가능성 사이에 부드러운 트레이드오프가 존재함을 보였으며, 이는 매우 훼손된 환경에서도 제어 가능성을 보여준다.
• 제안된 방법은 비대칭 LLL 조건을 일반화하였으며, 노이즈가 사라지는 경우 정확히 원래 조건으로 복원된다.
• 엔트로피 압축은 인과적 의존성의 흐림이 없는 상황에서도 수렴 시간을 제한하는 강력한 분석 도구로 기능한다.
• 기존의 LLL 알고리즘화 기법이 노이즈 환경에서 실패하는 문제를 해결하기 위해, 의존성의 흐림을 엔트로피 기반 추론으로 대체함으로써 성공적인 접근을 확보하였다.