[論文レビュー] Bayesian Active Learning for Structured Output Design

Kota Matsui, Shunya Kusakawa+4 more|arXiv (Cornell University)|Nov 9, 2019

Machine Learning and Algorithms参考文献 21被引用数 6

ひとこと要約

本稿では、多変数出力の相関をガウス過程を用いてモデル化する新しい獲得関数を用いた、構造的出力を持つ逆問題のためのベイジアンアクティブラーニング手法を提案する。この手法は、望ましい出力形状を生成する入力パラメータを効率的に同定し、合成データおよび実世界の炭化ケイ素結晶成長データにおいて、ベースライン手法よりも少ない観測回数で収束を達成する。

ABSTRACT

In this paper, we propose an active learning method for an inverse problem that aims to find an input that achieves a desired structured-output. The proposed method provides new acquisition functions for minimizing the error between the desired structured-output and the prediction of a Gaussian process model, by effectively incorporating the correlation between multiple outputs of the underlying multi-valued black box output functions. The effectiveness of the proposed method is verified by applying it to two synthetic shape search problem and real data. In the real data experiment, we tackle the input parameter search which achieves the desired crystal growth rate in silicon carbide (SiC) crystal growth modeling, that is a problem of materials informatics.

研究の動機と目的

• 望ましい構造的出力（例：多次元出力における特定の形状やパターン）を生成する入力パラメータを同定する逆問題に対処すること。
• ブラックボックスでノイズが多く、不確実性を伴う科学的シミュレーションにおいて、高コストな実験観測回数を削減すること。
• 構造的出力の各次元間の相関をモデル化し、探索の効率を向上させること。
• ベクトル値で相関のある出力をもつ逆問題に特化したベイジアン最適化フレームワークを開発すること。
• 本手法を合成形状探索タスクおよび実材料科学データ（SiC結晶成長）の両方で検証すること。

提案手法

• 入力から構造的出力へ写像するブラックボックス関数をガウス過程モデルで表現し、逆問題をベイジアン実験設計の枠組みとして定式化する。
• 構造的出力をベクトル値ガウス過程としてモデル化し、共通の共分散構造を用いることで、出力間の相関を組み込んだ新しい獲得関数を導入する。
• 期待改善（EI）および改善確率（PI）の獲得関数を、出力成分間の相関を考慮した構造的出力設定に適応する。
• GPモデルの予測平均および分散を用いて、予測出力形状と望ましい出力形状との間の期待誤差を最小化する次回観測点を選択する。
• 反復的にこの手順を繰り返し、新たな観測データでGPモデルを更新し、望ましい出力に近づくように探索を refining する。
• 出力次元間で共有される長さスケールを有する平方指数カーネルを用い、構造的出力の滑らかさおよび相関性を表現する。

実験結果

リサーチクエスチョン

• RQ1 望ましい出力が複数の相関する次元にわたる構造的形状であるような逆問題に対して、ベイジアンアクティブラーニングアプローチが有効に機能するか。
• RQ2 獲得関数に出力間相関を組み込むことで、独立または非構造的出力モデルと比較して、観測効率がどのように向上するか。
• RQ3 本手法は、合成および実世界の科学的シミュレーションにおいて、望ましい出力への収束をより速く達成できるか。
• RQ4 出力が空間的に相関する実材料科学データ（例：炭化ケイ素結晶成長）において、本手法はどのように性能を発揮するか。
• RQ5 異なる獲得関数（例：EI と PI）が、構造的出力逆問題における探索効率に与える影響は何か。

主な発見

• 合成形状探索タスク（三角形および球体）において、本手法はベースライン手法よりも少ない観測回数で、ログスケールでの単純な後悔（simple regret）を最低に達成した。
• 三角形探索タスクでは、本手法が5回の反復で望ましい出力を達成し、収束速度において他の手法を顕著に上回った。
• SiC結晶成長データにおいては、4回目の観測で20次元の成長率ベクトルが望ましい形状に達した。これは高い観測効率を示している。
• 出力相関の適切なモデル化により、初期段階の反復においても、ベースラインの獲得関数と比較して後悔を著しく低減する優れた性能を示した。
• モデルの予測は真の望ましい出力形状をよく追跡しており、獲得関数は一貫してターゲット付近で情報量の多い次回観測点を選択した。
• これらの結果から、構造的出力設定における効率的な逆問題解決のためには、出力相関のモデル化が不可欠であると示された。