[論文レビュー] The Offset Tree for Learning with Partial Labels

Alina Beygelzimer, John Langford|arXiv (Cornell University)|Dec 21, 2008

Advanced Bandit Algorithms Research参考文献 15被引用数 9

ひとこと要約

オフセットツリーは、部分ラベル学習（1つの行動の報酬しか観測されない）を、標準的な教師あり学習アルゴリズムの再利用を可能にする還元ベースのアルゴリズムである。二値分類に変換することで、(k−1)倍の二値分類器のレグレットに比例した最適なレグレットスケーリングを達成し、O(log k)の時間で実行され、実験では回帰法やインポートランスウェイティングを上回る性能を示した。

ABSTRACT

We present an algorithm, called the Offset Tree, for learning to make decisions in situations where the payoff of only one choice is observed, rather than all choices. The algorithm reduces this setting to binary classification, allowing one to reuse of any existing, fully supervised binary classification algorithm in this partial information setting. We show that the Offset Tree is an optimal reduction to binary classification. In particular, it has regret at most $(k-1)$ times the regret of the binary classifier it uses (where $k$ is the number of choices), and no reduction to binary classification can do better. This reduction is also computationally optimal, both at training and test time, requiring just $O(\log_2 k)$ work to train on an example or make a prediction. Experiments with the Offset Tree show that it generally performs better than several alternative approaches.

研究の動機と目的

• すべてのk個の報酬が観測されるのではなく、1つの行動の報酬しか得られない部分フィードバックからの学習という課題に対処すること。
• 限られたフィードバックで履歴データを活用できる非インタラクティブな学習法を、方策学習に応用すること。
• 部分ラベル問題を二値分類に還元し、きついレグレットバウンドと計算効率性を備えた手法を提供すること。
• レグレットと計算複雑性の観点から、還元法の理論的最適性を確立すること。

提案手法

• 各内部ノードが2つの行動の間の二値意思決定を表す二値木構造を用いて、部分ラベル問題を二値分類に還元する。
• 各内部ノードで、対counterfactualフィードバックを模倣するための重み付き報酬差分を用いた二値分類問題を構築する。
• 主な革新点は「オフセット」テクニックである：低報酬の行動が観測された場合、代替行動が修正された報酬で選択されたかのように扱うことで、不偏推定を可能にする。
• 予測には再帰的ツリー走査を用い、訓練時および推論時ともにO(log₂k)の時間が必要となる。
• これはオракルアルゴリズムであり、ブルートフォースな方策探索を伴わずに、既存の二値分類器の暗黙の最適化を活用可能である。
• レグレットバウンドは、レグレット解析により導出され、方策のレグレットが二値分類器のレグレットの(k−1)倍以内であることが示された。

実験結果

リサーチクエスチョン

• RQ1 部分ラベル学習を二値分類に還元する手法は、行動数kに対して最適なレグレットスケーリングを達成できるか？
• RQ2 O(k)ではなくO(log k)のスケーリングを達成する計算効率の良い部分ラベル学習アルゴリズムを設計できるか？
• RQ3 予測誤差の観点から、オフセットツリーは回帰法やインポートランスウェイティングベースラインと比べてどのように差をつけるか？
• RQ4 ノイズのない状況（実現可能ケース）に適応できるか、既存のバンディットアルゴリズム（例：バンドイトロン）よりも優れた性能を達成できるか？

主な発見

• オフセットツリーは、二値分類器のレグレットの(k−1)倍というレグレットバウンドを達成しており、これは最適である—より良いバウンドを保証できる還元法は存在しない。
• 訓練時およびテスト時ともに、1例あたりO(log₂k)の時間で実行され、O(k)の代替手法と比較して計算的に最適である。
• 実験では、回帰ベースの手法よりも優れた性能を示し、複数のデータセットで顕著に低い誤差率を達成した。
• 4クラスのReuters RCV1データセットでは、実現可能版のオフセットツリーが10.72%の誤差率を達成し、バンドイトロンの16.3%を上回った。
• インポートランスウェイティングベースラインは、オフセットツリーと同等またはわずかに劣る性能を示し、部分フィードバック処理においてオフセットツリーの優位性を裏付けた。
• ハイパーパramータのチューニングがなくても有効であるため、実世界の展開において実用的で頑健であることが示された。