[論文レビュー] Scalability Analysis of the RADAR Decision Support Tool

Saheed A. Busari, Emmanuel Letier|arXiv (Cornell University)|Feb 9, 2017

Simulation Techniques and Applications参考文献 4被引用数 3

ひとこと要約

本論文は、複数の目的最適化と情報価値分析を用いてアーキテクチャ意思決定を評価するRADAR意思決定支援ツールのスケーラビリティを分析している。研究では、シミュレーション回数、目的関数の数、設計空間の大きさに対して、実行時間とメモリ使用量が線形に増加することが確認され、全シミュレーションが主要なパフォーマンスボトルネックであることが判明した。これにより、実用的な使用範囲は独立した意思決定が約10個、各々3つの選択肢を有する問題に制限される。

ABSTRACT

This report presents a theoretical complexity analysis and empirical scalability analysis of the Requirements and Architecture Decision Analyser (RADAR).

研究の動機と目的

• アーキテクチャ意思決定分析のためのRADAR意思決定支援ツールの理論的および実験的スケーラビリティを評価すること。
• RADARの4段階分析パイプライン（設計空間生成、シミュレーション、Pareto最適化、情報価値計算）におけるパフォーマンスボトルネックを特定すること。
• 実世界および合成モデルにおけるRADARの全探索戦略の実用的限界を特定すること。
• 将来的な開発を支援するため、より大きな設計空間を扱えるヒューリスティック探索戦略の必要性を同定すること。
• モデルの特性（シミュレーション回数、目的関数の数、設計空間の大きさ）が実行時間およびメモリ消費量に与える影響を評価すること。

提案手法

• 漸近的表記法を用いて、RADARの4段階パイプラインの理論的時間および空間計算量の複雑度を分析する。
• シミュレーション回数（N）、設計空間の大きさ、目的関数の数を制御した合成モデルを用いて、実験的にパフォーマンスを評価する。
• 設定可能な意思決定、選択肢、目的関数、依存関係を持つ合成モデル生成ツールを用いる。
• 設計空間の大きさを変化させ、最大5つの目的関数を有する180の合成モデルに対して、実行時間およびメモリ使用量を測定する。
• EVTPIおよびEVPPIの計算に標準的な式を適用し、両者とも時間計算量がO(N×|S|)で上限に達することを確認する。
• 最近開発された効率的なEVPPI推定アルゴリズムを用い、Pareto最適解の数に対して線形時間計算量を維持する。

実験結果

リサーチクエスチョン

• RQ1 RADARの実行時間およびメモリ使用量は、シミュレーション回数（N）の増加に伴いどのように変化するか？
• RQ2 RADARのパフォーマンスは、設計空間の大きさの増加に伴いどのように変化するか？
• RQ3 RADARのパフォーマンスは、目的関数の数の増加に伴いどのように変化するか？
• RQ4 4段階の分析ステップのそれぞれが、総実行時間およびメモリ使用量のどの程度を占めているか？

主な発見

• RADARの実行時間およびメモリ使用量は、シミュレーション回数（N）に伴い線形に増加し、理論的複雑度の予測と一致する。
• シミュレーションステップは、総実行時間の100%およびメモリ使用量の96%を占めており、パフォーマンスボトルネックとして顕著である。
• 2つの目的関数および10個の意思決定（各3選択肢）を有する場合、RADARは6912個の解を含む設計空間を111秒（2分未満）で分析した。
• 1時間未満で処理された最大のモデルは、11個の意思決定（各7選択肢）を有する設計空間を153,751個の解で含み、実用的限界内でのスケーラビリティを確認した。
• 理論的予測通り、実行時間およびメモリ使用量は目的関数の数に伴い線形に増加し、顕著なずれは観察されなかった。
• Pareto最適化および期待情報価値計算ステップは、実行時間にそれぞれ0%、メモリ使用量に1%および3%の寄与に留まり、シミュレーションが主たるコストであることを確認した。