[論文レビュー] Distributed Sensor Selection using a Truncated Newton Method

Danny Bickson, Danny Dolev|arXiv (Cornell University)|Jul 6, 2009

Distributed Sensor Networks and Detection Algorithms参考文献 12被引用数 3

ひとこと要約

本稿では、NP困難なセンサ選択問題に対する分散型アルゴリズムを2つ提案する。ヘシアン行列の対角成分を近似するために、信念伝播を用いた切り捨てニュートン法を採用することで、スケーラブルで分散型の最適化を実現する。この手法は、計算量を著しく削減しつつ、ほぼ最適な性能を達成し、合成データおよび実際のAbileneバックボーントラフィックログで検証された。

ABSTRACT

We propose a new distributed algorithm for computing a truncated Newton method, where the main diagonal of the Hessian is computed using belief propagation. As a case study for this approach, we examine the sensor selection problem, a Boolean convex optimization problem. We form two distributed algorithms. The first algorithm is a distributed version of the interior point method by Joshi and Boyd, and the second algorithm is an order of magnitude faster approximation. As an example application we discuss distributed anomaly detection in networks. We demonstrate the applicability of our solution using both synthetic data and real traffic logs collected from the Abilene Internet backbone.

研究の動機と目的

• 大規模なセンサ選択問題における集中型内点法のスケーラビリティ制限を解消すること。
• 中央集権的なデータ集約なしにリアルタイムでのセンサ選択を可能にする分散型アルゴリズムを開発すること。
• 内点法の高精度を維持しつつ、高速で軽量な近似手法を提供すること。
• ネットワーク異常検出やデータ品質最適化のような実世界のシナリオへの適用可能性を示すこと。

提案手法

• ヘシアン逆行列の主要対角成分の近似を求めるために、ガウス型信念伝播（GaBP）を用い、完全なヘシアン逆行列の計算を回避する。
• JoshyとBoydが提唱した内点法の分散版を定式化することで、センサ選択の分散型計算を可能にする。
• GaBPを介して部分的なヘシアン情報のみを用いる切り捨てニュートン法を導入し、計算コストを低減する。
• ネットワーク化されたセンサトポロジで反復的メッセージパッシングを用いて収束を強制するメカニズムを実装する。
• 近似の後に局所探索ヒューリスティクスを適用し、センサの入れ替えを用いて選択されたサブセットを最適化することで、解の品質を向上させる。
• 合成データおよび実世界の実験において、収束性と性能の指標として双対ギャップを用いる。

実験結果

リサーチクエスチョン

• RQ1 信念伝播は、センサ選択の分散型ニュートン法において、ヘシアン行列の対角成分を効果的に近似できるか？
• RQ2 中央集権型内点法と比較して、分散型切り捨てニュートン法の精度および収束性はどの程度か？
• RQ3 提案された近似アルゴリズムは、計算負荷を削減しながらも、解の品質をどの程度維持できるか？
• RQ4 分散型センサ選択フレームワークは、実際のネットワークトラフィックデータに対して異常検出に効果的に適用できるか？
• RQ5 合成ガウス分布データと実世界の非ガウス分布ネットワークトラフィックとの間で、近似の品質にどのような差が生じるか？

主な発見

• 分散型切り捨てニュートン法は、中央集権型内点法と同等の双対ギャップを達成し、ほぼ最適な性能を示したが、計算量は著しく削減された。
• 軽量な近似アルゴリズムは、1ニュートンステップあたり9〜10イテレーションで収束したが、完全なニュートン法はヘシアン成分ごとに20〜50回のGaBPイテレーションを要した。
• 完全な分散型ニュートン法は収束強制のため最大25回の外側ループイテレーションを要し、合計で数百回のイテレーションが発生したのに対し、近似法は数十回で済んだ。
• 合成データでは近似アルゴリズムの性能が良好であったが、実際のAbileneネットワークデータでは、非ガウス分布のトラフィック特性のため、精度が低かった。
• 近似処理後に適用した局所探索ヒューリスティクスは解の品質を向上させ、一部のケースではニュートン法を上回った。
• 双対ギャップと上限値の両方が、近似アルゴリズムが最適解から十分に近い位置に保たれていることを確認した。また、Abileneデータセットにおいては、実世界の異常指標と強く相関していた。