[論文レビュー] Sequential Preference-Based Optimization

Ian Dewancker, Jakob Bauer+1 more|arXiv (Cornell University)|Jan 9, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 11被引用数 4

ひとこと要約

この論文では、ユーザーが報告する同順位（同等の好み）を扱えるように一般化されたブラッドレー・テリー・モデルを用いたガウス過程ベースの好みモデルを拡張した、オープンソースのライブラリであるPrefOptを紹介する。精度パラメータβを介して同順位フィードバックを統合することで、特にドライバーレスカーの運動計画など、人間の知覚が重要な感知的指標における人間を含む最適化のロバスト性が向上し、期待改善獲得関数を用いた合成テスト関数において、ベースラインと比較して優れた収束性能を示す。

ABSTRACT

Many real-world engineering problems rely on human preferences to guide their design and optimization. We present PrefOpt, an open source package to simplify sequential optimization tasks that incorporate human preference feedback. Our approach extends an existing latent variable model for binary preferences to allow for observations of equivalent preference from users.

研究の動機と目的

• 定量的性能指標が定義しづらい複雑なエンジニアリングシステムを最適化する課題に取り組むこと、特に人間の知覚が重要な役割を果たす場合に焦点を当てる。
• 既存の好みベース最適化モデルを拡張し、ユーザーが設定間の同等性（同順位）を報告できるようにし、実世界の応用におけるロバスト性を向上させること。
• 人間のフィードバックを伴う逐次的な好みベース最適化の導入を容易にするオープンソースのソフトウェアライブラリ、PrefOptを開発すること。
• 比較的フィードバックのみを用いて合成テスト関数を最小化する上で、提案されたモデルと獲得関数の有効性を評価すること。

提案手法

• 二値好みモデルを、'より良い'、'より悪い'、'同等'の三つの結果を扱える一般化されたブラッドレー・テリー・モデルに拡張し、同順位パラメータβを用いる。
• 関数値の潜在的ガウス過程事前分布を用い、長さスケールを非制約的な正規変数からシグモイド変換により正の値に保つ。
• スケーラブルな推論のためEdwardを用い、平均場近似を用いた変分推論により、潜在的関数値とハイパーパrameterを同時に推論する。
• 探索と活用のバランスを取るために、期待改善（EI）獲得関数を用いて次のクエリポイントを選択する。
• ユーザーが1回の反復で2つの設定を比較する逐次最適化ループを採用し、各フィードバック後に好みのランドスケープに関する信念を更新する。
• バッチクエリ戦略をサポートし、実世界の設定におけるインタラクティブな最適化を容易にするユーザーフレンドリーなAPIと統合する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが報告する同順位（同等の好み）を扱える好みモデルは、人間を含む最適化のロバスト性と収束性を向上させるか？
• RQ2 一般化されたブラッドレー・テリー・モデルによる同順位フィードバックの導入は、二値のみの好みモデルと比較して最適化性能にどのように影響するか？
• RQ3 期待改善獲得関数は、同順位対応を備えた好みベース最適化において、純粋な探索やランダムサーチを上回る性能を示すか？
• RQ4 合成テスト関数における同等性の許容レベルが異なる場合に、この手法はどの程度一般化性能を示すか？

主な発見

• 期待改善獲得関数は、すべてのテストされた合成テスト関数において、純粋な探索およびランダムサーチを上回り、最適な設定への収束が速いことが示された。
• 同順位の許容度が低（ε=0.001）でも高く（ε=0.1）でも、本手法は安定した性能を発揮し、ユーザーの不一致に対する耐性があることが示された。
• 一般化されたブラッドレー・テリー・モデルによる同順位フィードバックの統合により、モデルのキャリブレーションが向上し、ユーザーが選択肢を区別するのが困難な状況でも過信のない判断が可能になった。
• PrefOptライブラリは、最小限のユーザー負担（ペairワイズ比較と同等性フィードバックのみ）で、効率的かつインタラクティブな最適化を実現した。