[论文解读] Decision Maker using Coupled Incompressible-Fluid Cylinders

Song-Ju Kim, Masashi Aono|arXiv (Cornell University)|Feb 13, 2015

Reinforcement Learning in Robotics参考文献 15被引用 3

一句话总结

本文提出 TOW Bombe，一种基于耦合不可压缩流体圆筒的模拟计算装置，用于在认知无线电中求解竞争性多臂赌博机问题（CMBP）。通过利用流体界面的拔河动力学，该装置在无需数字方法的指数级计算成本下，实现了社会最优的信道分配，在3名用户和5条信道的仿真中达到接近最大总奖励。

ABSTRACT

The multi-armed bandit problem (MBP) is the problem of finding, as accurately and quickly as possible, the most profitable option from a set of options that gives stochastic rewards by referring to past experiences. Inspired by fluctuated movements of a rigid body in a tug-of-war game, we formulated a unique search algorithm that we call the `tug-of-war (TOW) dynamics' for solving the MBP efficiently. The cognitive medium access, which refers to multi-user channel allocations in cognitive radio, can be interpreted as the competitive multi-armed bandit problem (CMBP); the problem is to determine the optimal strategy for allocating channels to users which yields maximum total rewards gained by all users. Here we show that it is possible to construct a physical device for solving the CMBP, which we call the `TOW Bombe', by exploiting the TOW dynamics existed in coupled incompressible-fluid cylinders. This analog computing device achieves the `socially-maximum' resource allocation that maximizes the total rewards in cognitive medium access without paying a huge computational cost that grows exponentially as a function of the problem size.

研究动机与目标

• 为解决认知无线电系统中求解竞争性多臂赌博机问题（CMBP）的高计算成本问题。
• 开发一种物理模拟装置，实现在无集中协调情况下的社会最优资源分配。
• 证明流体动力学可实现与先进数字算法相当的高效决策。
• 表明 TOW Bombe 通过促进用户在信道间的分离，避免了纳什均衡状态。
• 通过多种用户和信道在不同奖励概率下的数值仿真验证该方法。

提出的方法

• TOW Bombe 使用两个不可压缩流体填充的互连圆筒，通过流体界面位移来建模决策过程。
• 每个圆筒对应一条信道，流体高度代表选择该信道的估计价值。
• 系统采用一种拔河（TOW）动力学模型，其定义方程为 $ Q_k(t) = N_k(t) - (1+\omega)L_k(t) $，其中 $ N_k $ 为选择次数，$ L_k $ 为失败尝试次数。
• 用户的选择由流体高度的相对高低决定：流体较高的圆筒表示对该信道的偏好更高。
• 在每次迭代中，系统执行 M 次上下操作（每位用户一次），以更新流体高度，避免数字方法的 $ O(N^M) $ 计算复杂度。
• 该装置通过优先选择竞争较少、高概率的信道，自然促进用户分离，从而实现社会最大收益。

实验结果

研究问题

• RQ1 基于流体动力学的物理模拟系统是否能比数字算法更高效地求解CMBP？
• RQ2 TOW Bombe 在多用户信道分配中是否避免了纳什均衡状态？
• RQ3 TOW 动力学是否能在无集中控制或指数级计算的前提下实现接近最优的总奖励？
• RQ4 在奖励概率动态变化和信道可用性变化的条件下，TOW Bombe 的表现如何？
• RQ5 TOW Bombe 的性能在多大程度上可推广至不同的收益矩阵和用户-信道配置？

主要发现

• 在5条信道、3名用户的场景中，TOW Bombe 实现了1200的总奖励，与理论社会最大值 $100 + 200 + 900$ 完全一致。
• 该装置成功避免了 (300, 300, 300) 的纳什均衡状态，表明无需显式通信即可实现协调。
• 得分分布中出现的六个独立聚类对应于六种分离状态，证实了最优用户-信道分配。
• 在1000轮游戏中，平均总得分收敛至1200，表明社会最大值被一致实现。
• 系统每轮仅需 M 次上下操作，避免了数字求解器的 $ O(N^M) $ 计算负担。
• 该方法在动态条件下依然有效，并能适应变化的奖励概率，如TOW动力学所展现的鲁棒性所示。