[論文レビュー] FLASH: A Faster Optimizer for SBSE Tasks

Vivek Nair, Zhe Yu+1 more|arXiv (Cornell University)|May 14, 2017

Software Engineering Research参考文献 36被引用数 5

ひとこと要約

FLASHは、探索ベースソフトウェア工学（SBSE）のための新しい意思決定木ベースの最適化手法であり、各目的関数ごとに段階的に1つの木を構築することで、効率的なサンプリングを導く。NSGA-II やベイズ最適化といった最先端のアルゴリズムに比べ、評価回数を最大99%まで削減し、より解釈可能なモデルを生成し、他の手法が終了に失敗するような複雑な問題にもスケーラブルに適用できる。

ABSTRACT

Most problems in search-based software engineering involve balancing conflicting objectives. Prior approaches to this task have required a large number of evaluations- making them very slow to execute and very hard to comprehend. To solve these problems, this paper introduces FLASH, a decision tree based optimizer that incrementally grows one decision tree per objective. These trees are then used to select the next best sample. This paper compares FLASH to state-of-the-art algorithms from search-based SE and machine learning. This comparison uses multiple SBSE case studies for release planning, configuration control, process modeling, and sprint planning for agile development. FLASH was found to be the fastest optimizer (sometimes requiring less than 1% of the evaluations used by evolutionary algorithms). Also, measured in terms of model size, FLASH's reasoning was far more succinct and comprehensible. Further, measured in terms of finding effective optimization, FLASH's recommendations were highly competitive with other approaches. Finally, FLASH scaled to more complex models since it always terminated (while state-of-the-art algorithm did not).

研究の動機と目的

• SBSEにおける伝統的な進化的アルゴリズム（EAs）の高い評価コストと低い解釈可能性を改善すること。
• 高次元のSBSE問題におけるベイズ最適化のスケーラビリティの限界を克服すること。
• ソフトウェア分析、機械学習、進化的計算の知見を統合したハイブリッド最適化手法を開発すること。
• リリース計画、設定制御、アジャイルスプリント計画などの多目的SBSEタスクにおいて、EAsの高速で解釈可能かつスケーラブルな代替手段を提供すること。
• 公開されたコードとモデルを用いて、再現可能性を確保した多様で現実世界のSBSE事例を通じてFLASHの有効性を実証すること。

提案手法

• FLASHは、各目的関数を独立してモデル化するため、CARTを用いた意思決定木学習器を採用し、目的関数ごとに段階的に1つの木を構築する。
• 各反復で、木の予測を用いて探索と活用のバランスを最適化するヒューリスティックを最大化することで、次のサンプルを選択する。
• ガウス過程や複雑なモデルではなく、単純で解釈可能な意思決定木を用いることで、高価なサロゲートモデリングを回避する。
• 各目的関数ごとに別々の木を維持し、候補サンプリングに支配に基づく選択戦略を用いることで、多目的最適化を実現する。
• ドメイン固有のハイパーパrameterチューニングや分布の仮定を必要とせず、即座に使える最適化手法として設計されている。
• 実世界の設定可能システムと、リリース計画、設定、アジャイル開発分野の事例をもとにした合成バージョンを組み合わせて評価している。

実験結果

リサーチクエスチョン

• RQ1 非進化的で木ベースの最適化手法は、SBSEタスクにおける評価効率の面で、最先端の進化的アルゴリズム（例：NSGA-II, SPEA2）を上回ることができるか？
• RQ2 多目的SBSE環境において、伝統的なEAs やベイズ最適化と比較して、FLASHはより解釈可能で理解しやすいモデルを生成するか？
• RQ3 高次元または複雑なSBSEモデルに適用した場合、ベイズ最適化やEAsと比較してFLASHのスケーラビリティはいかがなっているか？
• RQ4 FLASHは、競合手法と比較して著しく少ない評価回数で、常にパレート最適境界に近い解を発見できるか？
• RQ5 FLASHが最も効果を発揮するSBSE問題の種別は何か？また、使用を避けるべき状況は存在するか？

主な発見

• 一部の事例では、FLASHは進化的アルゴリズム（例：NSGA-II）が使用する評価回数の1%未満で済ませ、驚異的な高速性を示した。
• FLASHはEAsに比べてはるかに小さく、より解釈しやすい意思決定木を生成し、最適化意思決定の根拠を明確にした。
• FLASHは最先端の手法と同等の最適化性能を達成し、真のパレート最適境界に近い解を一貫して発見した。
• 15の実世界の設定可能システムと13の事例変種すべてで、FLASHは唯一、正常に終了を達成した。他の手法は収束に失敗した。
• ePAL、NSGA-II、SPEA2、MOEA/D、SWAYと比較して、特に高次元または制約のあるモデルにおいて、収束速度とスケーラビリティの面でFLASHが優れていた。
• FLASHと関連モデルの公開により、SBSE分野における研究と実務への再現可能性と広範な採用が可能になった。