[論文レビュー] VEER: Disagreement-Free Multi-objective Configuration.

Kewen Peng, Christian Kaltenecker+3 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用数 6

ひとこと要約

VEERは、N-目的空間の1次元近似を生成する次元削減ヒューリスティクスをFLASH最適化手法の上に適用することで、1,000倍の高速化と同等の解品質を実現しつつ、最大1,000倍の高速性能を達成する。これにより、1,000個の目的関数を含む大規模な構成空間においても、効率的かつ矛盾のない探索が可能になる。

ABSTRACT

Software comes with many configuration options, satisfying varying needs from users. Exploring those options for non-functional requirements can be tedious, time-consuming, and even error-prone (if done manually). Worse, many software systems can be tuned to multiple objectives (e.g., faster response time, fewer memory requirements, decreased network traffic, decreased energy consumption, etc.). Learning how to adjust the system among these multiple objectives is complicated due to the trade-off among objectives; i.e., things that seem useful to achieve one objective could be detrimental to another objective. Consequentially, the optimizer built for one objective may have different (or even opposite) insights on how to locate good solutions from the optimizer built from another objective. In this paper, we define this scenario as the model disagreement problem. One possible solution to this problem is to find a one-dimensional approximation to the N-objective space. In this way, the case is converted to a single-objective optimization, which is naturally confusion-free. This paper demonstrates VEER, a tool that builds such an approximation by combining our dimensionality-reduction heuristic on top of one of the state-of-the-art optimizers, FLASH. VEER can explore very large configuration spaces by evaluating just a small fraction of the total number of configurations (e.g., a space of 81,000 configurations can be explored by 70 samples). The experimental result in this paper demonstrates the feasibility of our approach in terms of the on-par quality of the solution set generated by the optimizer and the resolved model disagreement within the optimizer. Moreover, we demonstrate that VEER has an improved computational complexity compared to the original optimizer (up to 1,000 times faster while maintaining on-par performance).

研究の動機と目的

• 異なる目的関数で学習された最適化手法がもたらす矛盾するインサイトを解消すること。
• すべての可能な構成を全検索する必要なく、大規模な構成空間を効率的に探索できること。
• 最新の最適化手法と同等の解品質を維持しつつ、計算複雑性を低減すること。
• 応答時間、メモリ使用量、エネルギー消費量といった複数の非機能的要件を統合的に最適化する一貫性のある、不一致のないアプローチを提供すること。

提案手法

• N次元の目的関数空間を1次元の近似に写像する新しい次元削減ヒューリスティクスを適用し、多目的最適化問題を単一目的問題に簡略化すること。
• 次元削減技術をFLASH最適化手法と統合することで、高品質な解集合を維持しつつ探索空間を縮小すること。
• 1次元近似のトレーニングと評価に、構成の小さな代表的サンプル（例：81,000件中70件）を用いること。
• 1次元近似を活用して、複数の目的による矛盾する指針を回避し、Pareto最適解に到達するように最適化手法を誘導すること。
• 次元削減の過程で目的間のトレードオフ関係を保持するようにヒューリスティクスを設計すること。
• 最適化中に必要な構成評価回数を最小限に抑えることで、スケーラビリティを確保すること。

実験結果

リサーチクエスチョン

• RQ1 異なる目的関数で学習された最適化手法の間で生じるモデルの不一致を、N次元構成空間の1次元近似が効果的に解消できるか。
• RQ2 VEERは、解品質を維持しつつ、大規模な構成空間を探索するにあたり、構成評価回数をどの程度削減できるか。
• RQ3 VEERの計算複雑性は、元のFLASH最適化手法と比較して、速度とスケーラビリティの観点でどの程度優れているか。
• RQ4 次元削減ヒューリスティクスは、高品質なPareto最適構成を特定するために必要なトレードオフ構造を適切に保持しているか。

主な発見

• VEERは元のFLASH最適化手法と同等の解集合品質を達成しており、1次元近似が本質的なトレードオフ情報を保持していることを示している。
• 81,000件の構成からなる空間において、VEERは構成評価をわずか70件にまで削減し、効率的な探索を可能にした。
• VEERは、元のFLASH最適化手法と比較して、計算複雑性を最大1,000倍まで高速化しながら、同等の解品質を維持した。
• 次元削減ヒューリスティクスは、複数の目的にわたる矛盾する最適化手法のインサイトを統合することで、モデルの不一致を効果的に解消した。
• 本手法は、解の忠実性を損なわず、新たな誤差要因を導入することなく、大規模な構成空間におけるスケーラブルな最適化を実現した。