[論文レビュー] Transfer Learning with Bellwethers to find Good Configurations

Vivek Nair, Rahul Krishna+2 more|arXiv (Cornell University)|Mar 11, 2018

Software Engineering Research参考文献 41被引用数 6

ひとこと要約

本論文では、性能を他の環境に予測できる代表的ソフトウェア環境（ベルウィーザー）を用いて、最小限の測定で最適な設定を特定する転移学習手法BEETLEを提案する。高い性能を示すベルウィーザー源を選択し、単純な転移学習を適用することで、従来手法に比べて約1/7の設定評価数で最先端の性能を達成する。

ABSTRACT

As software systems grow in complexity, the space of possible configurations grows exponentially. Within this increasing complexity, developers, maintainers, and users cannot keep track of the interactions between all the various configuration options. Finding the optimally performing configuration of a software system for a given setting is challenging. Recent approaches address this challenge by learning performance models based on a sample set of configurations. However, collecting enough data on enough sample configurations can be very expensive since each such sample requires configuring, compiling and executing the entire system against a complex test suite. The central insight of this paper is that choosing a suitable source (a.k.a. "bellwether") to learn from, plus a simple transfer learning scheme will often outperform much more complex transfer learning methods. Using this insight, this paper proposes BEETLE, a novel bellwether based transfer learning scheme, which can identify a suitable source and use it to find near-optimal configurations of a software system. BEETLE significantly reduces the cost (in terms of the number of measurements of sample configuration) to build performance models. We evaluate our approach with 61 scenarios based on 5 software systems and demonstrate that BEETLE is beneficial in all cases. This approach offers a new highwater mark in configuring software systems. Specifically, BEETLE can find configurations that are as good or better as those found by anything else while requiring only 1/7th of the evaluations needed by the state-of-the-art.

研究の動機と目的

• 広範な設定サンプリングを要する、設定可能なソフトウェアシステムにおける性能モデル構築の高コストを解消すること。
• 既存の転移学習手法が適切なソース環境を選べないため、負の転移や性能の劣化を引き起こすという限界を克服すること。
• 1つの代表的環境が他の環境の性能を予測できるベルウィーザー効果を活用し、効率的で高精度な設定最適化を実現すること。
• 設定空間の全探索を最小限に抑えるために、最小限の測定でベルウィーザー環境を高速かつスケーラブルに同定する手法を開発すること。
• 適切に選ばれたベルウィーザー源を用いた単純な転移学習スキームが、複雑でソースに依存しない転移学習手法を上回ることを示すこと。

提案手法

• ベルウィーザー環境を特定するための新規で高速なアルゴリズムを採用し、設定空間の約10%の評価で最も予測力の高いソース環境を特定する。
• ベルウィーザー環境で訓練された性能モデルを用いて、ターゲット環境の設定を予測する単純な転移学習スキームを適用する。
• NSGA-IIや類似の手法を含む、探索ベースの最適化フレームワークを用い、ベルウィーザーから導出された性能モデルに従って設定空間を探索する。
• 予測精度と設定品質の評価に、主に正規化平均絶対誤差（NAR）を指標として用いる。
• 探索と測定コストのバランスを取るために、設定可能なパrameter（例：lives, budget）を組み込んだ、予算に配慮した探索戦略を統合する。
• 実世界のワークロードとベンチマークスイートを用いて、多様なソフトウェアシステムで本手法を検証し、実用的応用性を確認する。

実験結果

リサーチクエスチョン

• RQ1 ベルウィーザー効果は、ソフトウェア性能最適化における転移学習のための高パフォーマンスなソース環境を特定するために効果的に活用可能か？
• RQ2 ベルウィーザー環境を信頼性を持って特定するにはどの程度の測定が必要か？ また、そのコストを最小限に抑えることは可能か？
• RQ3 適切に選ばれたベルウィーザー源を用いた単純な転移学習スキームは、複雑でソースに依存しない転移学習手法を上回る性能を示せるか？
• RQ4 BEETLEは、非転移学習および最先端の転移学習手法と比較して、設定評価回数をどの程度削減できるか？ また、設定品質は維持または向上するか？
• RQ5 ベルウィーザーに基づくアプローチが失敗する状況はどのようなものか？ また、メトリクス、システムの差異、性能測定方法などの要因がその有効性に与える影響は何か？

主な発見

• BEETLEは、5つの設定可能なソフトウェアシステムにまたがる61の多様なシナリオにおいてベルウィーザー環境を効果的に同定し、性能最適化におけるベルウィーザー効果の存在を実証した。
• ベルウィーザーを同定するには、設定空間の約10%の測定で十分であり、データ収集コストを顕著に削減した。
• BEETLEは、最先端の転移学習手法と同等またはそれ以上の性能を達成したが、評価回数は約1/7（設定空間の13.5%に相当）にまで削減された。
• 評価された5つのケースのうち4つで、ベルウィーザーに基づく転移学習アプローチが、最良の非転移学習および最先端の転移学習ベースラインを同等または上回った。
• 異なるソフトウェアシステムやワークロードに対しても、本手法は一貫した性能向上を示し、システムバージョンやワークロードの変更に対しても頑健であった。
• BEETLEの有効性はハイパーパrameter（特に予算と探索ライフ数）に敏感であり、より高い値がNAR（予測精度）を向上させるが、最適な性能は最小限の設定（例：予算 = 10%、lives = 5）で達成された。