[論文レビュー] Learning Beam Search Policies via Imitation Learning

Renato Negrinho, Matthew R. Gormley+1 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、ビームサーチポリシーをエンドツーエンドで訓練するための新しい模倣学習フレームワークを提案する。ビームを後処理のデコード機構ではなく、モデルの不可分な一部として扱う。微分可能な代替損失関数とオракルフィードバックを用いたDAggerスタイルのデータ収集により、ビームに配慮した学習に対する最初のノーレグレット保証を達成し、一般化性能とトレーニングと推論の整合性を向上させる。

ABSTRACT

Beam search is widely used for approximate decoding in structured prediction problems. Models often use a beam at test time but ignore its existence at train time, and therefore do not explicitly learn how to use the beam. We develop an unifying meta-algorithm for learning beam search policies using imitation learning. In our setting, the beam is part of the model, and not just an artifact of approximate decoding. Our meta-algorithm captures existing learning algorithms and suggests new ones. It also lets us show novel no-regret guarantees for learning beam search policies.

研究の動機と目的

• 構造予測タスクにおけるトレーニング（尤度最大化）と推論（ビームサーチ）の間の不一致を解消すること。
• 既存のビームに配慮したアルゴリズムが、トレーニング中に自身の誤りにさらされないという限界を克服すること。
• 理論的保証を伴う模倣学習を用いて、ビームサーチポリシーを学習する統一されたメタアルゴリズムを開発すること。
• 従来のパーセプトロンスタイルの保証にとどまらず、ビームサーチポリシー学習に対する最初のノーレグレットレグレットバインディングを提供すること。
• 最適な仮説がビームから外れた後でも、継続戦略を用いてオラクルフィードバックを効果的に活用し、訓練を継続できること。

提案手法

• 『学びの探索』フレームワーク内での構造予測問題として、ビームサーチポリシー学習を定式化し、ポリシーがビームサーチ空間を走査するようにする。
• ビームの隣接ノードをスコア付けする関数を定義し、上位k個を選択して次のビームを形成する。この関数を模倣学習により学習する。
• 微分可能な代替損失関数（重み付きすべてのペア損失の変種や既存のビームに配慮した損失関数を含む）を設計し、スコア関数を最適化する。
• DAggerに類似したデータ収集戦略を採用：現在のポリシーでロールインし、ビームの隣接ノードのコストをオラクルに問い合わせ、最適パスがビームから外れた後でさえも監視データを収集する。
• ポリシーの混合を導入し、累積損失に基づいてパラメータを更新するオンラインノーレグレット学習アルゴリズム（例：Adam）を用いる。
• ロールイン中に停止またはリセットする確率を推定することで、データ収集における分布シフトに対処し、非理想的なデータ収集ポリシー下でもレグレットバインディングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存のビームに配慮した学習アルゴリズムを、それらの設計選択を捉える単一のメタアルゴリズムで統合できるか？
• RQ2 パーセプトロンスタイルの結果を越えて、ビームサーチポリシー学習に対するノーレグレット理論的保証を提供できるか？
• RQ3 ロールイン中に最適な仮説がビームから外れた場合、どのようにして効果的な訓練データを収集できるか？
• RQ4 どの代替損失関数が、トレーニングとビームサーチ推論の間の整合性および一般化性能を高めるか？
• RQ5 データ収集中にストップまたはリセット戦略を用いる場合でも、理論的性能保証を維持できるか？

主な発見

• 提案フレームワークは、ビームサーチポリシー学習に対する最初のノーレグレット保証を達成し、高確率での有限標本レグレットバインディングを提供する。
• 理論的分析により、レグレットバインディングが $ u\sqrt{2\log(1/\delta)/m} $ のスケーリングを示すことが判明した。ここで $ u $ は有界な損失、$ m $ は反復回数である。
• 特定の損失関数とデータ収集戦略の選択により、フレームワークは既存のビームに配慮したアルゴリズム（例：エアリー・アプデート、LaSO）を特別なケースとして回復する。
• ストップおよびリセットデータ収集戦略の場合は、追加の項 $ u(1 - \frac{1}{m}\sum_{t=1}^{m}\hat{\alpha}(\theta_t)) $ がレグレットバインディングに含まれるが、停止／リセット確率が低下するにつれてこの項は消える。
• 最適な仮説がビームから外れた後でも、ビームの隣接ノードに対するオラクルフィードバックを活用することで、モデルの誤りに対してより頑健な訓練が可能になる。
• 実験的検証により、特にビームサーチの感度が高い設定では、標準的な尤度ベースのトレーニングに比べて一般化性能が著しく向上することが示された。