[論文レビュー] Asynchronous Algorithms for Solving Linear Programs

Tarek A. Lahlou, Thomas A. Baran|arXiv (Cornell University)|Feb 24, 2015

Sparse and Compressive Sensing Techniques参考文献 11被引用数 3

ひとこと要約

本稿では、グローバルな同期を必要とせず最適解に収束する非線形信号フロー構造を用いた、非同期で分散型の線形計画法の解法を提案する。線形計画問題を非同期形式に再定式化し、直交行列と記憶なし非線形関数を用いた固定点反復を活用することで、任意の遅延および計算機の非均一性に対しても収束を達成する。数値シミュレーションにより、チェビシェフ中心問題とベースス・プルーリング問題の両方で有効性が検証された。

ABSTRACT

In this paper we design and analyze algorithms for asynchronously solving linear programs using nonlinear signal processing structures. In particular, we discuss a general procedure for generating these structures such that a fixed-point of the structure is within a change of basis the minimizer of an associated linear program. We discuss methods for organizing the computation into distributed implementations and provide a treatment of convergence. The presented algorithms are accompanied by numerical simulations of the Chebyshev center and basis pursuit problems.

研究の動機と目的

• 通信遅延およびプロセッサの非均一性に強く、グローバル同期を必要としない分散型・非同期型線形計画法の解法を設計すること。
• 分散環境において、同期と通信オーバーヘッドが性能を劣化させる従来の逐次的・同期的最適化手法の限界を克服すること。
• 線形計画問題を固定点問題に変換する信号フロー構造に基づく一般枠組みを構築すること。
• 安定性理論および動的システム解析を用いて、提案アルゴリズムの収束を保証すること。
• チェビシェフ中心やベースス・プルーリングといった実用的問題への応用を通じて、本手法の有効性を示すこと。

提案手法

• すべての変数が固定、非制約、または非負であるように、標準形線形計画問題を「非同期形式」に再定式化し、すべての制約を等式形式とする。
• 直交行列 G と記憶なし非線形関数 m(·) を用いて、固定点が元の線形計画問題の最適解に対応するような、停留在条件のシステムを構築する。
• ランダムにトリガーされるサンプルアンドホールド素子を用いて非同期計算をモデル化し、収束に影響を与えない任意の遅延を導入する。
• 遅延なしループを代数的手法または非同期遅延の挿入により解消し、システムが適切に定義されかつ安定していることを保証する。
• 入力と出力を再定式化された問題の変数にマッピングする信号フロー構造を実装し、非線形性がコスト項および制約項を符号化する。
• 初期段階でホモトピー続行法を用いて収束性を向上させ、段階的に非線形性を滑らかから正確な形に段階的変換する。

実験結果

リサーチクエスチョン

• RQ1 グローバル同期や正確なタイミングを要せず、分散的・非同期的に線形計画問題を効率的に解くことは可能か？
• RQ2 任意の遅延およびプロセッサの非均一性下で、線形計画問題を解く非同期信号フロー構造の収束を保証する条件は何か？
• RQ3 線形計画問題を、固定点収束が保証される非線形信号処理に適した形式に再定式化する方法は何か？
• RQ4 本手法は、ベースス・プルーリングやチェビシェフ中心計算といった高次元問題において、どの程度のロバストネスとスケーラビリティを維持できるか？
• RQ5 非線形性の選択および非同期発火確率が、実際の収束速度および精度にどのように影響を与えるか？

主な発見

• 理論的安定性解析により、提案非同期アルゴリズムが任意の通信遅延および処理遅延下でも線形計画問題の最適解に収束することが検証された。
• 数値シミュレーションにより、200個のランダムな超平面を用いた100次元空間におけるチェビシェフ中心問題において、青線が固定点に収束するように中心が追跡された。
• 512次元空間における16スパース信号を想定したベースス・プルーリング問題では、1000回の試行すべてで真の解が回復され、遅延確率 p = 0.2 から 0.8 の範囲で収束が観測された。
• 初期段階でのホモトピー法の適用により初期収束性が顕著に向上し、非線形性が滑らかから正確な形に段階的に移行した。
• 多様な問題例においてロバストな性能を示し、計算機の非均一性に対しても耐性を示し、スケーラビリティを実現した。
• 信号フロー構造の固定点は、基底変換のもとで元の線形計画問題の最小化子に対応しており、再定式化の正しさが裏付けられた。