[論文レビュー] Efficient Online Learning for Optimizing Value of Information: Theory and Application to Interactive Troubleshooting

Yuxin Chen, Jean-Michel Renders+2 more|arXiv (Cornell University)|Mar 15, 2017

Advanced Bandit Algorithms Research参考文献 23被引用数 10

ひとこと要約

本稿では、インタラクティブなトラブルシューティングにおける情報価値（VoI）最適化のための効率的なオンライン学習フレームワークを提案する。新規のサンプリングベースの仮説列挙戦略を用いることで、不確実性下でのスケーラブルで、証明可能に近最適な意思決定を実現する。さらに、期待リグレットが低いオンライン事後サンプリングアプローチを導入し、未知のモデルパラメータをデータから学習可能であり、実世界のトラブルシューティングデータにおいて優れた実証的性能を示している。

ABSTRACT

We consider the optimal value of information (VoI) problem, where the goal is to sequentially select a set of tests with a minimal cost, so that one can efficiently make the best decision based on the observed outcomes. Existing algorithms are either heuristics with no guarantees, or scale poorly (with exponential run time in terms of the number of available tests). Moreover, these methods assume a known distribution over the test outcomes, which is often not the case in practice. We propose an efficient sampling-based online learning framework to address the above issues. First, assuming the distribution over hypotheses is known, we propose a dynamic hypothesis enumeration strategy, which allows efficient information gathering with strong theoretical guarantees. We show that with sufficient amount of samples, one can identify a near-optimal decision with high probability. Second, when the parameters of the hypotheses distribution are unknown, we propose an algorithm which learns the parameters progressively via posterior sampling in an online fashion. We further establish a rigorous bound on the expected regret. We demonstrate the effectiveness of our approach on a real-world interactive troubleshooting application and show that one can efficiently make high-quality decisions with low cost.

研究の動機と目的

• 仮説空間がテスト数の指数関数的増加に伴い計算的に非現実的になる既存のVoI最適化手法の課題に対処すること。
• 仮説上での分布が事前に分かっている必要がある従来手法の制限を克服し、顧客の応答データから未知の条件付き確率をオンラインで学習可能にする。
• 実世界のインタラクティブ意思決定設定において、強力な理論的保証（例：近最適性とリグレットバウンド）を維持しながら実用的かつスケーラブルなフレームワークを開発すること。
• 最小限の質問数で診断の正確性を最大化するように、トラブルシューティングシステムにおけるクエリ効率を向上させること。

提案手法

• 各隠れ状態に条件づけた最も確率の高い仮説を効率的にサンプリングできるように、優先度探索を用いた分割統治アプローチに基づく動的仮説列挙戦略を提案する。
• すべての隠れ状態における周辺尤度を統合して期待情報量を計算し、適応的サブモジュラリティ下での効率的グリーディテスト選択を可能にする。
• オンライン学習フレームワークに事後サンプリングを統合し、顧客の応答から未知のモデルパラメータ（例：原因が与えられたときの症状確率）を段階的に学習可能にする。
• オンライン学習設定における期待リグレットの厳密な理論的バウンドを確立し、初期の不確実性があっても長期的な性能が最適方策に近づくことを保証する。
• 元の確率的モデルの構造を活用することで、一般のサンプリング手法と比較して、サンプリング効率と近似品質を向上させる。
• 上位レベルのサンプリング手順を用いてモデルパラメータをサンプリングし、リアルタイムのトラブルシューティングセッションにおける進化するユーザーデータに柔軟に適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模な仮説空間にスケーリング可能な理論的保証を維持する効率的仮説列挙手法を設計できるか？
• RQ2 初期の不確実性がある状況でも、期待リグレットが低いオンライン学習で、未知のテスト結果の条件付き確率を学習できるか？
• RQ3 インタラクティブなトラブルシューティングにおいて、ベースライン手法と比較してはるかに少ないクエリ数で近最適な意思決定が達成できるか？
• RQ4 モデルの不確実性が存在する状況でも、提案フレームワークが強力な理論的性能保証を維持できるか？

主な発見

• 提案された仮説列挙戦略により、適応的サブモジュラリティ下でのVoI最適化が効率的に行えるようになり、標準的なサブモジュラリティ近似に基づく手法と比較して、計算効率が著しく優れていることが示された。
• 事後サンプリングを組み込んだオンライン学習フレームワークは、期待リグレットが低く抑えられ、初期の不確実性があっても長期的な意思決定品質が最適方策に近づくことを保証している。
• 実世界のトラブルシューティングプラットフォームにおける実証的評価では、EC²の変種がベースライン手法と比較して一貫してクエリ複雑度を低減していることが確認された。
• フレームワークは、大規模で現実世界の応用に適したスケーラビリティを維持しながらも、強力な理論的保証（近最適性とリグレットバウンド）を保持している。