[論文レビュー] Sequential Experimental Design for Transductive Linear Bandits

Tanner Fiez, Lalit Jain+2 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Bandit Algorithms Research参考文献 28被引用数 10

ひとこと要約

本稿は、測定ベクトルの集合 𝒳 とアイテムベクトルの集合 𝒁 が異なる場合に、ノイズの多い測定値から最適なアイテムを特定する「伝達的線形バンディット問題」を導入する。著者らは、情報理論的下界にほぼ一致する性能を達成するように、情報量の多い測定ベクトルに焦点を当てることで、高確率保証のもとで最良腕の同定に近似的に最適なサンプル複雑性を達成する、適応的逐次実験設計アルゴリズム RAGE を提案する。

ABSTRACT

In this paper we introduce the transductive linear bandit problem: given a set of measurement vectors $\mathcal{X}\subset \mathbb{R}^d$, a set of items $\mathcal{Z}\subset \mathbb{R}^d$, a fixed confidence $δ$, and an unknown vector $θ^{\ast}\in \mathbb{R}^d$, the goal is to infer $ ext{argmax}_{z\in \mathcal{Z}} z^ opθ^\ast$ with probability $1-δ$ by making as few sequentially chosen noisy measurements of the form $x^ opθ^{\ast}$ as possible. When $\mathcal{X}=\mathcal{Z}$, this setting generalizes linear bandits, and when $\mathcal{X}$ is the standard basis vectors and $\mathcal{Z}\subset \{0,1\}^d$, combinatorial bandits. Such a transductive setting naturally arises when the set of measurement vectors is limited due to factors such as availability or cost. As an example, in drug discovery the compounds and dosages $\mathcal{X}$ a practitioner may be willing to evaluate in the lab in vitro due to cost or safety reasons may differ vastly from those compounds and dosages $\mathcal{Z}$ that can be safely administered to patients in vivo. Alternatively, in recommender systems for books, the set of books $\mathcal{X}$ a user is queried about may be restricted to well known best-sellers even though the goal might be to recommend more esoteric titles $\mathcal{Z}$. In this paper, we provide instance-dependent lower bounds for the transductive setting, an algorithm that matches these up to logarithmic factors, and an evaluation. In particular, we provide the first non-asymptotic algorithm for linear bandits that nearly achieves the information theoretic lower bound.

研究の動機と目的

• 測定ベクトル 𝒳 とアイテムベクトル 𝒁 が異なる状況における伝達的線形バンディット問題を形式化し、高確率で argmax_{z∈𝒁} zᵀθ* を特定することを目的とする。
• 線形バンディットおよび組み合わせバンディットの既存の下界を一般化した、この設定におけるインスタンス依存の下界を導出する。
• 情報理論的下界にほぼ一致するサンプル複雑性を達成するように、適応的逐次実験設計アルゴリズムを開発する。
• 多様な設定、特に高次元および組み合わせ的構成において、アルゴリズムを実験的に評価し、非適応的および固定配分戦略に比べて優れた性能を示す。

提案手法

• アルゴリズムは、現在の θ* における不確実性に基づいて、最適な z* ∈ 𝒁 を特定する際に不確実性を低減する方向に、𝒳 に属する測定ベクトル x を逐次的に選択する戦略を採用する。
• 候補となる腕の差分に基づく G-最適設計基準を用い、最良腕を区別するための情報量の増加を最適化する問題に変換する。
• θ* における信頼楕円体を維持し、不確実性集合の体積を最小化する測定を選択する。特に、最適腕の選択における不確実性を最も低減する方向 (x_i - x_j) を標的とする。
• RAGE は、観測された報酬と不確実性に基づいて、サンプリング分布を動的に更新し、各測定が最良腕に関する情報量を最大化するように選択する。
• 非漸近的かつインスタンス依存の設計であり、理論的保証はインスタンス依存の下界と対数因子の差異を除いて一致する。
• アクティブな腕の集合が 𝒁 内のアイテムの差分によって定義される伝達的設定における実験設計問題の新しい定式化を活用し、効率的かつ的確なサンプリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 伝達的線形バンディット設定における最良腕同定のインスタンス依存サンプル複雑性の下界は何か？
• RQ2 𝒳 ≠ 𝒁 で、かつ 𝒳 がコストや可用性の制約を受ける状況において、測定数を最小限に抑えるために逐次実験設計をどのように適応させるか？
• RQ3 最良腕が直接測定できない場合でも、適応的アルゴリズムが情報理論的下界にほぼ一致する性能を達成できるか？
• RQ4 多様な構成において、𝒳 における適応的サンプリングは、非適応的または固定配分戦略に比べて、どの程度サンプル効率が向上するか？

主な発見

• RAGE は、インスタンス依存の下界と対数因子の差異を除いてほぼ一致するサンプル複雑性を達成しており、線形バンディットにおける非漸近的アルゴリズムとして、情報理論的限界に最も近い性能を達成した最初の手法である。
• 多数のほぼ同一の腕を持つ設定の実験では、RAGE は各腕を均等にサンプリングする LinGapE よりも顕著に優れている。これは、腕の数が増えると LinGapE の性能が著しく劣化することを示している。
• ℝ⁵ 内の球面分布の腕に対しては、RAGE は近接する腕の差分に注目することで、ALBA よりも優れた性能を発揮する。一方、ALBA はアクティブなベクトルに対する G-最適設計を採用しているが、これは非効率なサンプリングを引き起こす。
• d=100 の伝達的例では、RAGE は固定の 𝒳𝒀-配分戦略を著しく上回り、適応的設計の価値を示している。
• 本手法は、𝒳 が 𝒁 の部分集合である場合、𝒳 に 𝒁 に含まれない危険な化合物が含まれる場合、および 𝒁 ∩ 𝒳 = ∅ である場合など、多様な設定においても優れた性能を維持しており、その汎用性を示している。
• 結果から、θ* の不確実性と腕の差分に関する方向情報に基づく適応的サンプリングが、特に高次元または組み合わせ的設定において、サンプル効率の大幅な向上をもたらすことが明らかになった。