[論文レビュー] Active Learning with Logged Data

Songbai Yan, Kamalika Chaudhuri+1 more|arXiv (Cornell University)|Feb 25, 2018

Machine Learning and Algorithms参考文献 38被引用数 9

ひとこと要約

本稿では、固定されたログポリシー下で収集されたログデータと、戦略的なオンラインラベリングを統合する、新たなアクティブラーニングフレームワークを提案する。このフレームワークにより、全集団における分類器の性能が向上する。複数のインポートランスサンプリング、バイアス補正クエリポリシー、およびログデータからのウォームスタートを組み合わせることで、標準的なアクティブラーニングに比べてラベルの複雑さが低く、精度が向上する。理論的整合性と多様なデータセットおよびログポリシーにおける実証的妥当性を両立している。

ABSTRACT

We consider active learning with logged data, where labeled examples are drawn conditioned on a predetermined logging policy, and the goal is to learn a classifier on the entire population, not just conditioned on the logging policy. Prior work addresses this problem either when only logged data is available, or purely in a controlled random experimentation setting where the logged data is ignored. In this work, we combine both approaches to provide an algorithm that uses logged data to bootstrap and inform experimentation, thus achieving the best of both worlds. Our work is inspired by a connection between controlled random experimentation and active learning, and modifies existing disagreement-based active learning algorithms to exploit logged data.

研究の動機と目的

• 非一様なログポリシーによってバイアスがかかるログデータから、正確な分類器を学習する課題に対処すること。
• コストの高いオンラインラベルクエリ数を減らすことで、サンプル効率を向上させること。
• ログデータとアクティブラーニングの長所を統合し、ログデータを無視するか、単にランダムな実験に依存する非効率性を回避する手法を開発すること。
• ベースラインのアクティブラーニングにウォームスタートを適用した場合と比較して、統計的整合性と低いラベル複雑さを確保すること。

提案手法

• 複数のインポートランスサンプリング推定器を用いて、ログデータを再重み付けし、ログポリシーによって生じるバイアスを補正する。
• 既にログデータに十分に代表されているインスタンスに対してラベルクエリを避けることで、冗長なクエリを回避する、新たなバイアス補正ポリシーを導入する。
• ウォームスタートとしてログデータを統合し、不一致に基づくアクティブラーニングを実装する。計算効率を高めるために、スラック損失最適化を用いる。
• 動的に更新される仮説集合上で、経験的リスク最小化を近似するために、共通のステップサイズを用いたオンライン勾配降下法を採用する。
• モデルの容量と信頼度マージンに基づいて、不確実領域を特定するための近似不一致テストを用いる。
• ログポリシー $ Q_0 $ は既知であるものとし、逆確率重み付けを用いてログデータ内の選択バイアスを補正できる。

実験結果

リサーチクエスチョン

• RQ1 ログデータは、アクティブラーニングにおけるラベルクエリ数を削減するために、効果的に活用可能か？
• RQ2 ログデータから過剰にサンプリングを避けるバイアス補正クエリポリシーは、サンプル効率をどのように向上させるか？
• RQ3 ログデータとアクティブラーニングを組み合わせることで、ウォームスタートを用いた標準的アクティブラーニングに比べ、ラベル複雑さが低くなるか？
• RQ4 提案手法は、多様なログポリシーおよびデータセットに対して、統計的に整合的かつ頑健であるか？

主な発見

• 提案手法は、評価されたすべてのデータセットおよびログポリシーにおいて、ベースラインのアクティブラーニングよりも低いテスト誤差を達成しており、特に合成データ、letter、magicデータセットで顕著な改善が見られた。
• covtypeおよびmushroomsデータセットでは、最良のベースラインと同等の性能を示し、高次元および不均衡データに対しても頑健であることを示した。
• 既にログデータに十分に代表されているインスタンスに対してクエリを戦略的に回避することで、ラベル複雑さが低減され、より効率的な学習が実現された。
• 実証的結果から、複数のインポートランスサンプリング、バイアス補正、およびウォームスタートの組み合わせが、性能向上をもたらすことが確認された。誤差曲線は、常にベースラインを上回るか同等の性能を示した。
• 理論的分析により、本手法が統計的に整合的であり、ラベル複雑さが有界で、ウォームスタートを用いた標準的アクティブラーニングよりも改善が見られたことが証明された。