[論文レビュー] Vector Optimization with Stochastic Bandit Feedback

Çağın Ararat, Cem Tekin|arXiv (Cornell University)|Oct 23, 2021

Advanced Bandit Algorithms Research被引用数 1

ひとこと要約

本稿は、多面体順序錐 C によって定義される順序に基づく、確率的バンディットフィードバックを用いたベクトル最適化を導入する。本稿では、順序複雑度と呼ばれる新たな錐依存的測度を用いて、(ϵ, δ)-PAC パレート集合同定の標本複雑度を特徴づけ、最悪ケースの標本複雑度がこの複雑度の2乗に比例することを証明し、単純な削除アルゴリズムがこの境界にほぼ一致することを示している。

ABSTRACT

We introduce vector optimization problems with stochastic bandit feedback, in which preferences among designs are encoded by a polyhedral ordering cone $C$. Our setup generalizes the best arm identification problem to vector-valued rewards by extending the concept of Pareto set beyond multi-objective optimization. We characterize the sample complexity of ($\epsilon,\delta$)-PAC Pareto set identification by defining a new cone-dependent notion of complexity, called the ordering complexity. In particular, we provide gap-dependent and worst-case lower bounds on the sample complexity and show that, in the worst-case, the sample complexity scales with the square of ordering complexity. Furthermore, we investigate the sample complexity of the na\"ive elimination algorithm and prove that it nearly matches the worst-case sample complexity. Finally, we run experiments to verify our theoretical results and illustrate how $C$ and sampling budget affect the Pareto set, the returned ($\epsilon,\delta$)-PAC Pareto set, and the success of identification.

研究の動機と目的

• 平均報酬が未知であり、ノイズのある観測値しか得られない状況下で、部分順序に基づくベクトル最適化を扱う。
• 多目的最適化を超えて、パレート最適性を用いた多変量報酬への最良腕同定問題の一般化を行う。
• 新しい錐依存的測度「順序複雑度」を用いて、(ϵ, δ)-PAC パレート集合同定の標本複雑度を特徴づける。
• 単純な削除アルゴリズムの性能を分析し、最悪ケースの標本複雑度境界にほぼ一致することを示す。
• サンプリング予算と錐 C の影響を実験的に検証し、パレート集合同定の結果を検証する。

提案手法

• 各設計が D 次元平均ベクトル µi のノイズのある観測値を出力する確率的バンディットフレームワークを提案する。
• 多目的設定における成分ごとの優位性を一般化するために、D次元空間における多面体順序錐 C ⊆ RD を用いてパレート最適性を定義する。
• パレート最適でない設計とパレート最適な設計を区別する難易度を捉える錐依存的測度「順序複雑度」を導入する。
• 標本複雑度のギャップ依存および最悪ケースの下界を確立し、最悪ケースの複雑度が順序複雑度の2乗に比例することを示す。
• 単純な削除アルゴリズムの分析を行い、その標本複雑度が最悪ケースの下界にほぼ一致することを証明する。
• 濃度不等式と錐の幾何的性質を用いて、2つの設計間の差分 ∆ij = µj − µi の推定誤差の高確率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 順序錐 C の構造は、確率的バンディットフィードバックを用いたベクトル最適化における (ϵ, δ)-PAC パレート集合同定の標本複雑度にどのように影響するか？
• RQ2 根本的な最悪ケースの標本複雑度は何か？ そして、錐 C の幾何的性質に従ってどのようにスケーリングされるか？
• RQ3 単純な削除アルゴリズムは、この多変量バンディット設定において近似的に最適な標本複雑度を達成できるか？
• RQ4 錐の角度とサンプリング予算は、実際のパレート集合同定の成功確率と精度にどのように影響するか？
• RQ5 パレート設計と非パレート設計の間のギャップは、必要なサンプル数を決定する上で果たす役割は何か？

主な発見

• 最悪ケースの (ϵ, δ)-PAC パレート集合同定の標本複雑度は、錐 C の順序複雑度の2乗に比例してスケーリングする。
• 単純な削除アルゴリズムは最悪ケースの標本複雑度下界にほぼ一致し、近似的に最適性が保証される。
• 任意の (ϵ, δ) に対して、定数 c が存在し、各設計に対して L = ⌈(4β²c²σ²/ϵ²) log(4D/δ)⌉ 回のサンプリングを行うことで、||ˆ∆ij − ∆ij||₂ ≤ ϵθij が確率 1−δ 以上で成立する。
• D = 1 の場合、単純な削除アルゴリズムの標本複雑度は Even-Dar 他 (2006) が示した既知の境界と一致し、フレームワークの整合性が裏付けられる。
• 実験では、サンプリング予算が増えるほど成功確率が上昇し、錐の角度に敏感であることが示された：低予算では広い錐（例：135°）では成功確率が急激に低下する。
• 返された集合における偽陽性（P P∗）および偽陰性（P∗ P）の割合は、予算が増えるにつれて減少し、10⁵サンプルで PMθ が 0 に低下する。