[論文レビュー] Contour location via entropy reduction leveraging multiple information sources

Alexandre Noll Marques, Rémi Lam+1 more|arXiv (Cornell University)|May 19, 2018

Industrial Vision Systems and Defect Detection被引用数 16

ひとこと要約

本稿では、エントロピーに基づく獲得関数を用いて複数の情報源を活用することで、評価が高価な関数の等高線を効率的に特定する新しいアルゴリズム、CLoVERを提案する。等高線エントロピーを形式的な不確実性の尺度として導入し、単位コストあたりのエントロピー低減を最大化することで、ベンチマーク問題において従来手法を上回る精度と効率性を達成した。

ABSTRACT

We introduce an algorithm to locate contours of functions that are expensive to evaluate. The problem of locating contours arises in many applications, including classification, constrained optimization, and performance analysis of mechanical and dynamical systems (reliability, probability of failure, stability, etc.). Our algorithm locates contours using information from multiple sources, which are available in the form of relatively inexpensive, biased, and possibly noisy approximations to the original function. Considering multiple information sources can lead to significant cost savings. We also introduce the concept of contour entropy, a formal measure of uncertainty about the location of the zero contour of a function approximated by a statistical surrogate model. Our algorithm locates contours efficiently by maximizing the reduction of contour entropy per unit cost.

研究の動機と目的

• 工学的・科学的応用で一般的に見られる、評価が高価な関数における等高線の特定という課題に対処すること。
• 高精度な評価に加えて、複数の安価でバイアスがありノイズの混入した近似（情報源）を活用することで計算コストを低減すること。
• 固定された予算のもとで、等高線位置に関する不確実性を最小化するように評価点を適応的に選択する手法を開発すること。
• 新しい指標「等高線エントロピー」を用いて、等高線位置に関する不確実性を形式的に定式化すること。
• 精度と収束速度の両面で、従来の等高線位置特定アルゴリズムを上回ること。

提案手法

• 関数をガウス過程スレーブモデルで表現した場合のゼロ等高線位置に関する不確実性の形式的尺度として、等高線エントロピーを導入する。
• 情報源間の事前に定義された忠実度階層を必要としない、複数情報源を用いたガウス過程スレーブモデルを採用する。
• 1ステップ先読みの獲得関数を用い、単位評価コストあたりの等高線エントロピー低減を最大化する。
• 全利用可能な情報源からランダムに選択された少数の評価でスレーブモデルを初期化する。
• 不確実性が依然高い場合に安価な情報源を優先するように、エントロピー低減獲得関数を最適化して新たな評価点を順次選択する。
• 反復的にスレーブモデルを更新し、獲得関数を再最適化することで収束または予算の期限に達するまで繰り返す。

実験結果

リサーチクエスチョン

• RQ1 複数の低忠実度でノイズが多くバイアスのある情報源を統合することで、等高線の特定をどのように改善できるか？
• RQ2 スレーブモデルにおける等高線位置に関する不確実性を効果的に形式化する指標とは何か？
• RQ3 不確実性の指標としてのエントロピー低減は、ヒューリスティックな不確実性指標に比べ、より効率的な等高線局所化を可能にするか？
• RQ4 提案手法のエントロピーに基づく獲得関数は、従来の獲得関数と比較して等高線位置特定においてどのように性能を発揮するか？
• RQ5 低コストの情報源を優先することで、高精度評価を最小限に抑えながらも高い精度を達成できるか？

主な発見

• Branin-Hoo関数において、g(x) > 80 となる領域の面積推定に関して、CLoVERはEGRA、Ranjan、TMSE、TIMSE、SURの各アルゴリズムを上回り、平均相対誤差が低かった。
• Branin-Hooベンチマークにおいて、CLoVERはすべての比較アルゴリズムよりも平均的に小さい面積推定の相対誤差を達成し、中央値誤差は1%未満であった。
• チューブラルリアクターの事例では、CLoVERは22回の反復後にD = 0.165でホフ・ビフォルケーションを特定し、IS0の高精度評価をたった4回しか使用しなかった。
• 22回の反復後に、等高線エントロピーが約6×10⁻⁹にまで低減され、等高線位置のほぼ絶対的な確実性が示された。
• CLoVERは、高価なIS0評価を2回使用する前に、低コストのIS1を11回評価するなど、コストに配慮した効果的な探索を実現した。
• 単位コストあたりのエントロピー低減に基づく獲得関数は、グリーディーまたは2次損失に基づく代替手法に比べ、より速い収束とより優れた不確実性評価を実現した。