[論文レビュー] Distributed Constrained Optimization with Semicoordinate Transformations

William G. Macready, David H. Wolpert|ArXiv.org|Nov 5, 2008

Constraint Satisfaction and Optimization参考文献 47被引用数 10

ひとこと要約

本稿では、確率的集合（Probability Collectives）と半座標変換を用いた分散制約最適化フレームワークを提案する。この手法により、高品質な解に焦点を当てた確率的更新を通じて、エージェントが最適化を実行できる。問題変数からエージェント状態をオントロフィック写像によって分離することで、$k$-satおよび$NK$関数問題の解法において収束性とロバスト性が向上する。

ABSTRACT

Recent work has shown how information theory extends conventional full-rationality game theory to allow bounded rational agents. The associated mathematical framework can be used to solve constrained optimization problems. This is done by translating the problem into an iterated game, where each agent controls a different variable of the problem, so that the joint probability distribution across the agents' moves gives an expected value of the objective function. The dynamics of the agents is designed to minimize a Lagrangian function of that joint distribution. Here we illustrate how the updating of the Lagrange parameters in the Lagrangian is a form of automated annealing, which focuses the joint distribution more and more tightly about the joint moves that optimize the objective function. We then investigate the use of ``semicoordinate'' variable transformations. These separate the joint state of the agents from the variables of the optimization problem, with the two connected by an onto mapping. We present experiments illustrating the ability of such transformations to facilitate optimization. We focus on the special kind of transformation in which the statistically independent states of the agents induces a mixture distribution over the optimization variables. Computer experiment illustrate this for $k$-sat constraint satisfaction problems and for unconstrained minimization of $NK$ functions.

研究の動機と目的

• 通信が限定的で、限界合理的性（bounded rationality）の下で動作する分散システムにおける制約付き最適化を扱う。
• 従来の分散最適化の限界を克服するため、複数のロバストな解と感度分析を可能にする確率的フレームワークを用いる。
• エージェント状態を問題変数へ写像する全射関数を用いた半座標変換が最適化性能をどのように向上させるかを検討する。
• 自動アニーリングを用いて連合分布を最適解に集中させる半座標変換の有効性を実証する。
• 制御対象システムについて強いモデル仮定を必要としない、スケーラブルで並列化可能な制約付き最適化手法を提供する。

提案手法

• 最適化問題を、各エージェントが変数を制御するマルチエージェント集団に変換し、連合状態は変数空間 $\mathcal{X}$ 上の確率分布 $q$ で記述される。
• 目的関数 $G(\mathbf{x})$ と制約をラグランジュ乗数を用いて統合したラグランジアン関数 $\mathcal{L}(q)$ を反復的に最小化し、$q$ が最適解の周辺に徐々に集中するように更新する。
• ラグランジュパラメータの反復的調整は、時間経過とともに最適構成に分布を集中させる自動アニーリングとして機能する。
• 半座標変換を導入し、エージェント状態 $z_i$ を全射関数 $m_i$ を用いて問題変数 $x_i$ に写像することで、独立したエージェント状態から $\mathbf{x}$ 上の混合分布が誘導される。
• 条件付き期待効用の推定にモンテカルロサンプリングを用い、確率分布の更新にはNearest Newton法や勾配ベースの手法を採用する。
• 情報理論的原則（Jensen-Shannon発散および変分推論）を活用し、最適解に向けた分布更新をガイドする。

実験結果

リサーチクエスチョン

• RQ1 半座標変換は、高次元問題における分散制約最適化の収束性とロバスト性を向上させるか？
• RQ2 問題変数から分離された確率的エージェント状態を用いることで、最適解の探索能力にどのような影響を与えるか？
• RQ3 ラグランジュパラメータの反復的調整（自動アニーリング）が、最適構成に連合分布をどの程度集中させるか？
• RQ4 半座標変換は、$k$-satおよび$NK$関数問題において、直接最適化と比較して解の質と計算効率にどのような差を生じるか？
• RQ5 特に確率的または複雑な環境において、システムの強いモデル仮定を必要とせずに、フレームワークが性能を維持できるか？

主な発見

• 半座標変換により、独立したエージェント状態から問題変数上の混合分布が誘導され、探索の多様性と収束性が向上する。
• ラグランジュパラメータの反復的調整は、自動アニーリングとして機能し、連合分布 $q$ が目的関数 $G(\mathbf{x})$ を最小化する構成に徐々に集中する。
• $k$-sat問題では、高次元かつ組合せ的に複雑な空間においても、高い確率で妥当な解が得られる。
• $NK$関数の制約なし最小化においては、低コストの構成に収束し、最終的な分布 $q$ は最適または準最適解の周辺に鋭く集中する。
• フレームワークは複数のロバストな解を生成し、最終的な $q$ が解空間全体における不確実性とトレードオフを反映するため、感度情報も提供する。
• モンテカルロサンプリングと変分更新を用いることで、解析的勾配や閉形式解が得られない場合でも、効果的にスケーリング可能である。