[論文レビュー] Learning to Search Better Than Your Teacher

Kai-Wei Chang, Akshay Krishnamurthy+3 more|arXiv (Cornell University)|Feb 8, 2015

Advanced Bandit Algorithms Research参考文献 19被引用数 91

ひとこと要約

本稿では、学習済み方針からの1ステップの逸脱に対しても、おそらく劣悪な基準方針に対しても低リグレットを保証する、LOLS（Locally Optimal Learning to Search）と呼ばれる、学習による探索のための新規アルゴリズムを提案する。従来の手法が基準方針の性能にのみ適合するのに対し、LOLSは局所最適性を保証し、構造的予測および構造的コンテキストバンドイット設定において劣悪なベースラインを著しく上回る性能を達成する。

ABSTRACT

Methods for learning to search for structured prediction typically imitate a reference policy, with existing theoretical guarantees demonstrating low regret compared to that reference. This is unsatisfactory in many applications where the reference policy is suboptimal and the goal of learning is to improve upon it. Can learning to search work even when the reference is poor? We provide a new learning to search algorithm, LOLS, which does well relative to the reference policy, but additionally guarantees low regret compared to deviations from the learned policy: a local-optimality guarantee. Consequently, LOLS can improve upon the reference policy, unlike previous algorithms. This enables us to develop structured contextual bandits, a partial information structured prediction setting with many potential applications.

研究の動機と目的

• 既存の学習による探索手法が基準方針の性能にのみリグレットを保証するという制限を解決すること。
• 基準方針が劣悪であっても、局所最適性を保証する学習による探索アルゴリズムの開発。
• 完全な教師信号が得られない構造的コンテキストバンドイット設定において、既存の（おそらく劣悪な）ルールベースシステムを改善することを可能にする。
• 基準方針に対するリグレットと、1ステップの方針逸脱に対するリグレットの両方をバランスさせる理論的保証の提供。
• 局所的上昇が有効であるが基準方針が著しく劣悪な状況において、LOLSが先行手法を上回ることの実証。

提案手法

• 基準方針に対するリグレットと、自身の1ステップ逸脱に対するリグレットの凸結合を維持するオンライン学習による探索アルゴリズムであるLOLSを提案。
• Searn、DAgger、AggreVaTeといった先行手法を一般化する一般的なアルゴリズム的枠組みを採用し、既存の探索ベースの構造的予測フレームワークとの互換性を確保。
• ミニバッチにおけるコストセンシティブ分類を用いて方針を更新することで、局所最適方針への収束を保証。
• 基準方針に対する性能と、局所的方針改善に対する性能を分離するリグレット分解を導入。
• ハイパーキューブグラフの組合せ的解析を用いて、局所最適性に到達するまでに必要な方針更新回数の上限を導出し、スネーク・イン・ザ・ボックス問題を活用。
• 部分的フィードバックを処理できるように学習ルールを変更することで、LOLSを構造的コンテキストバンドイットに拡張し、同じリグレット保証を維持。

実験結果

リサーチクエスチョン

• RQ1 学習による探索手法は、劣悪な基準方針にのみ適合するのでなく、それを上回ることも可能か？
• RQ2 基準方針が最適でない場合、特に局所最適性の観点からどのような理論的保証を提供できるか？
• RQ3 基準方針が劣悪だが局所的上昇が有効な状況において、LOLSの性能は先行の学習による探索アルゴリズムと比べてどうか？
• RQ4 部分的フィードバックであり、既存システムを改善することを目的とする構造的コンテキストバンドイット設定において、LOLSは効果的に適応可能か？
• RQ5 LOLSが局所最適方針に到達するまでに必要な最悪ケースの政策更新回数は何か？また、探索空間のサイズに伴いどのようにスケーリングされるか？

主な発見

• LOLSは、基準方針に対するリグレットと1ステップ逸脱に対するリグレットを組み合わせたリグレットバウンドを達成し、基準方針が劣悪であっても局所最適性を保証する。
• 理論的分析により、基準方針が劣悪だが局所的上昇が有効な場合、LOLSは先行手法を上回ることを示した。
• 構造的コンテキストバンドイット設定において、LOLSは自然な拡張を提供し、部分的フィードバックからの学習が可能になる。
• 実験的結果により、LOLSが実世界のデータセットにおいて基準方針を著しく上回ることを確認し、実用的優位性を示した。
• LOLSが局所最適方針に到達するまでに必要な最悪ケースの政策更新回数は、ハイパーキューブにおける最長パスの長さ（＝スネーク・イン・ザ・ボックス）に比例し、Θ(2^T) である。これは、高次元の政策空間ではスケーラビリティの限界を示している。
• コスト関数の構造のおかげで、ミニバッチ処理であっても、LOLSは1ステップの逸脱に従わざるを得ず、局所最適解から逸脱することなく収束を保証する。