[논문 리뷰] Transfer-Entropy-Regularized Markov Decision Processes

Takashi Tanaka, Henrik Sandberg외 1명|arXiv (Cornell University)|2017. 08. 30.

Advanced Thermodynamics and Statistical Mechanics참고 문헌 52인용 수 4

한 줄 요약

이 논문은 상태에서 행동으로의 정보 흐름을 최소화하는 전이 엔트로피 정규화된 마르코프 결정 과정(이하 TERMDP)을 제안한다. 이는 고전적 상태 의존 비용과 정보 흐름 간의 트레이드오프를 최소화한다. 비선형 TERMDP의 정적점에 수렴하는 반복적 정방·역방향 알고리즘을 개발하였으며, 이는 제어 및 열역학 시스템에서 정보 제약 조건 하에 최적의 정책 설계를 가능하게 한다. 이 알고리즘은 아리모토-블라후트 알고리즘에 영감을 받았다.

ABSTRACT

We consider the framework of transfer-entropy-regularized Markov Decision Process (TERMDP) in which the weighted sum of the classical state-dependent cost and the transfer entropy from the state random process to the control random process is minimized. Although TERMDPs are generally formulated as nonconvex optimization problems, we derive an analytical necessary optimality condition expressed as a finite set of nonlinear equations, based on which an iterative forward-backward computational procedure similar to the Arimoto-Blahut algorithm is proposed. It is shown that every limit point of the sequence generated by the proposed algorithm is a stationary point of the TERMDP. Applications of TERMDPs are discussed in the context of networked control systems theory and non-equilibrium thermodynamics. The proposed algorithm is applied to an information-constrained maze navigation problem, whereby we study how the price of information qualitatively alters the optimal decision polices.

연구 동기 및 목표

• 전이 엔트로피를 사용해 상태에서 행동으로의 정보 흐름을 페널티로 삼는 새로운 최적 제어 프레임워크를 수립하기 위해.
• TERMDP의 필요 최적성 조건을 유한한 비선형 방정식 집합으로 유도하기 위해.
• 비선형 문제이지만 수렴 보장이 있는 계산적으로 효율적인 반복 알고리즘을 개발하여 TERMDP를 해결하기 위해.
• 네트워크 제어 시스템 및 비평형 열역학에서 이 프레임워크의 적용 가능성을 입증하기 위해.
• 정보 비용이 미치는 영향을 통해 제약 조건이 있는 환경(예: 미로 주행)에서 최적의 의사결정 정책이 어떻게 변화하는지 보여주기 위해.

제안 방법

• 상태 의존 비용과 상태에서 제어 과정으로의 전이 엔트로피의 합을 최소화하는 비볼록 최적화 문제로 TERMDP를 수립한다.
• 조건부 확률 및 라그랑주 승수를 포함하는 비선형 방정식 시스템으로 표현된 필요 최적성 조건을 도출한다.
• 아리모토-블라후트 알고리즘과 유사한 정방·역방향 반복 알고리즘을 제안하며, 제어 정책과 이중 변수를 번갈아가며 갱신한다.
• 일반 정책을 유한한 기억을 가진 제한된 클래스로 매핑하는 투영 연산자 π를 도입하며, 특정 조건 하에서는 최적성을 유지한다.
• 알고리즘 수열의 모든 극한점이 TERMDP의 정적점임을 증명함으로써 수렴성을 확립한다.
• 정보 제약 조건이 있는 미로 주행 작업에서 알고리즘을 검증하여 정보 비용 변화에 따른 정책 변화를 분석한다.

실험 결과

연구 질문

• RQ1 한정된 센서 및 통신 조건에서의 실제 의사결정을 모델링하기 위해, 상태에서 행동으로의 정보 흐름에 대한 정보 이론적 제약 조건을 마르코프 결정 과정에 어떻게 통합할 수 있는가?
• RQ2 TERMDP에서 최적 정책을 특징짓는 분석적 조건는 무엇이며, 문제의 비볼록성에도 불구하고 이를 수치적으로 해결할 수 있는 방법은 무엇인가?
• RQ3 정보 비용의 가격이 제약 조건이 있는 환경에서 최적 제어 정책의 구조와 성능에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 TERMDP의 정적점을 신뢰성 있게 계산할 수 있으며, 어떤 수렴 보장을 제공하는가?
• RQ5 TERMDP는 네트워크 제어 시스템 및 비평형 열역학에서 근본적인 성능 한계를 어느 정도 잘 반영하는가?

주요 결과

• 제안된 정방·역방향 알고리즘은 TERMDP의 정적점으로 수렴하며, 모든 극한점이 도출된 최적성 조건을 만족한다.
• 이 알고리즘은 전이 엔트로피 최소화에 적응된 비율-왜곡 문제에 대한 아리모토-블라후트 알고리즘의 일반화이다.
• 필요 최적성 조건은 조건부 확률과 라그랑주 승수를 포함하는 유한한 비선형 방정식 집합으로 도출되었다.
• 투영 연산자 π를 통해 알고리즘의 수렴성이 확립되었으며, 이는 제한된 정책 클래스 내에서 최적성을 유지한다.
• 미로 주행 작업에서 정보 비용이 증가할수록 더 단순하고 상태 의존성이 낮은 정책으로의 전환을 관찰하였으며, 이는 의사결정 행동의 정성적 변화를 보여준다.
• 이 프레임워크는 이전 모델에서 사용하는 상호정보량이나 KL 발산을 비용 함수로 사용하는 것에 비해 물리적 및 정보 이론적으로 타당한 대안을 제공한다.