[論文レビュー] A Visual Web Tool to Perform What-If Analysis of Optimization Approaches

Sascha Van Cauwelaert, Michele Lombardi+1 more|arXiv (Cornell University)|Mar 16, 2017

Constraint Satisfaction and Optimization参考文献 11被引用数 4

ひとこと要約

本論文では、最適化手法のパフォーマンスプロファイルを生成する公開ウェブツールを紹介しており、研究者が仮想的なソルバ改善に対する「もしも分析」を実施できるようにする。ベンチマーク全体におけるパフォーマンス向上の累積的可視化により、制約プログラミングや混合整数線形プログラミング分野において、例えばプロパゲーターの最適化やカット生成の改善といった、定量的な影響推定が可能な高インパクトな研究分野を特定するのに役立つ。

ABSTRACT

In Operation Research, practical evaluation is essential to validate the efficacy of optimization approaches. This paper promotes the usage of performance profiles as a standard practice to visualize and analyze experimental results. It introduces a Web tool to construct and export performance profiles as SVG or HTML files. In addition, the application relies on a methodology to estimate the benefit of hypothetical solver improvements. Therefore, the tool allows one to employ what-if analysis to screen possible research directions, and identify those having the best potential. The approach is showcased on two Operation Research technologies: Constraint Programming and Mixed Integer Linear Programming.

研究の動機と目的

• オペレーションズリサーチ分野におけるパフォーマンスプロファイルの生成と分析に向けたアクセス可能なツールの不足に対処すること。
• 研究者が、より速いプロパゲーターまたはカット生成といったソルバコンポonentの仮想的改善に対する「もしも分析」を可能にすること。
• パフォーマンスプロファイルを標準的な評価手法として推進し、非ボトルネック要因に対する過剰最適化を回避すること。
• 本ツールの有効性を、制約プログラミングおよび混合整数線形プログラミングの2つのOR分野において実証すること。
• 実装作業への投資を前に、アルゴリズム改善の潜在的影響を推定するフレームワークを提供すること。

提案手法

• ツールは、ソルバのパフォーマンスを問題インスタンスごとにマッピングする標準化されたJSON形式の実験データを受け付ける。
• パフォーマンスプロファイルは、ベンチマーク全体における正規化された実行時間指標の累積分布関数として構築される。
• 特定のソルバコンポーネントに対する仮想的なパフォーマンス改善の影響を可視化するために、時間計算量の低減をシミュレートする。
• 問題のサイズや構造などの特徴に基づいてインスタンスにラベルを付けることで、ターゲット化されたもしも分析を可能にする。
• プロファイルは、正規化された指標を用いてソルバ間の比較を可能にし、所定の時間比以内に解かれたインスタンスの割合を示す。
• プロファイルはSVGまたはHTML形式でエクスポート可能で、研究レポートや論文への統合が可能。

実験結果

リサーチクエスチョン

• RQ1 例えばグローバル制約やカット生成アルゴリズムの時間計算量を低減することで、どの程度のパフォーマンス向上が見込まれるか。
• RQ2 全体の実行時間に与える影響から見た場合、どのソルバコンポーネントが最適化の最も有望なターゲットとなるか。
• RQ3 仮想的改善の恩恵は、異なる問題インスタンスやベンチマークセットによってどのように変化するか。
• RQ4 特定コンポーネントの改善によるパフォーマンス向上は、全体の探索戦略や問題構造に依存する程度はどの程度か。
• RQ5 追加のオーバーヘッドのため、改善が逆効果になるケースをパフォーマンスプロファイルが特定できるか。

主な発見

• 制約プログラミングのBLベンチマークにおいて、ERプロパゲーターのコストを低減すると、概ね比例するパフォーマンス向上が得られ、高い影響力を持つことが示された。
• j90の大きなインスタンスでは、O(n²)のERプロパゲーターですら、約35%のケースでのみパフォーマンス向上が見られ、スケールが大きくなるとリターンが減少することが示唆された。
• j90インスタンスの35%では、ERプロパゲーターのコストがゼロであっても、ベースラインを上回ることはできず、固定点のオーバーヘッドのため、追加の制約除去が逆効果になる可能性があることが示された。
• Concorde TSPソルバにおいては、局所的カット計算の高速化が、TSPLibおよびVLSIインスタンスの80%で最大15%の時間短縮にとどまり、このような最適化のリターンは低いことが示された。
• 探索戦略の選択が、コンポーネント改善の潜在的利点に顕著に影響することが、j30インスタンスにおけるバイナリ戦略とSetTimes戦略の間で異なるプロファイルから明らかになった。
• 本ツールは、理論的には有益であるが、構造的または実装上のオーバーヘッドのため、実用的な利点が得られないアルゴリズム改善の事例を効果的に同定できた。