[論文レビュー] Opportunistic Learning: Budgeted Cost-Sensitive Learning from Data Streams

Mohammad Kachuee, Orpaz Goldstein+3 more|arXiv (Cornell University)|Jan 2, 2019

Data Stream Mining Techniques参考文献 32被引用数 11

ひとこと要約

本稿では、深層強化学習を用いて、コスト制約のもとでデータストリームに対して特徴量を取得する予算付きでコスト感受性のある特徴量取得手法であるOpportunistic Learningを提案する。モンテカルロドロップアウトを用いてモデルの不確実性を推定し、文脈に応じた特徴量価値関数を定義することで、コスト制約のもとで逐次的・オンラインで特徴量選択が可能となり、予測精度を最大化する。MNIST、Yahoo LTR、diabetesデータセットのあらゆる設定で高い性能を達成する。

ABSTRACT

In many real-world learning scenarios, features are only acquirable at a cost constrained under a budget. In this paper, we propose a novel approach for cost-sensitive feature acquisition at the prediction-time. The suggested method acquires features incrementally based on a context-aware feature-value function. We formulate the problem in the reinforcement learning paradigm, and introduce a reward function based on the utility of each feature. Specifically, MC dropout sampling is used to measure expected variations of the model uncertainty which is used as a feature-value function. Furthermore, we suggest sharing representations between the class predictor and value function estimator networks. The suggested approach is completely online and is readily applicable to stream learning setups. The solution is evaluated on three different datasets including the well-known MNIST dataset as a benchmark as well as two cost-sensitive datasets: Yahoo Learning to Rank and a dataset in the medical domain for diabetes classification. According to the results, the proposed method is able to efficiently acquire features and make accurate predictions.

研究の動機と目的

• 特徴量の取得にコストがかかる（例：医療検査、計算負荷）現実の機械学習シナリオで、予算が厳密に制限されている状況に対処すること。
• 固定の特徴量選択ではなく、文脈的価値に基づいて予測時に動的に特徴量を選択するオンラインで逐次的な特徴量取得戦略を開発すること。
• 不確実性推定を強化学習フレームワーク内の価値関数として用いることで、特徴量取得コストを最小限に抑えながら予測精度を向上させること。
• ハイパーパrameterの調整を必要とせず、テスト時に適応的決定を行うこと——不確実性の高いサンプルに対してはより多くのコストを割り当てることを可能にすること。

提案手法

• 報酬関数を予測の有用性に基づいて最大化するように、コスト感受性特徴量取得を強化学習問題として定式化する。
• モンテカルロドロップアウトを用いてモデルの不確実性を推定し、単位コストあたりの不確実性低減の期待値を反映する文脈に応じた特徴量価値関数を計算する。
• 分類予測器（Pネットワーク）とQネットワーク（価値関数推定器）の間で表現を共有することで、学習の効率性と収束性を向上させる。
• 経験再生とターゲットネットワークを用いた深層Qネットワーク（DQN）アーキテクチャを採用し、学習の安定性を確保するとともに、データストリームからのオンライン学習を可能にする。
• 予測精度の向上とコスト効率の両方を組み合わせた報酬関数を定義し、最小限のコストで信頼性を最も高める特徴量を優遇する。
• データストリーム上で逐次的にモデルを学習させ、各予測のフィードバックに基づいて方策を更新することで、リアルタイムでの適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロドロップアウトで推定されるモデルの不確実性は、コスト感受性学習において有効で文脈に応じた特徴量価値の指標として機能するか？
• RQ2 予測時に厳密な予算制約のもとで、最適な逐次的特徴量取得意思決定を行う強化学習エージェントをどのように学習させることができるか？
• RQ3 予測と価値推定ネットワーク間で表現を共有することで、オンラインストリーム環境下での学習効率と収束速度が向上するか？
• RQ4 提案手法は、ベースライン手法と比較して、特徴量取得コストをどれほど削減しつつ、予測精度を維持または向上させることができるか？
• RQ5 不確実性に基づいてサンプルごとに予算を適応的に割り当てることで、固定のコスト制約がない状況でも、より高い信頼性の予測が可能になるか？

主な発見

• 提案手法は、常に過信的で不正確なソフトマックス信頼度スコアと比較して、顕著に高い精度-コスト効率を達成する。
• MCドロップアウトを用いた不確実性推定により、より信頼性の高い報酬信号が得られ、ソフトマックスベースの手法と比較してAUACC（精度-コスト曲線下の面積）が15〜20%向上する。
• 予測ネットワークと価値推定ネットワーク間の表現共有により収束が加速し、オンライン学習シナリオにおける学習時間の短縮と安定性の向上が達成される。
• 本手法はさまざまな予算制約のもとで効果的に動作する——全特徴量コストの25%の制限下でも強力な性能を示し、限られた予算に対して高いロバストネスを示す。
• MNISTデータセットでは、全特徴量コストの40%で95%を超える精度を達成し、ベースラインのコスト感受性手法を上回る性能を発揮する。
• 医療用糖尿病データセットでは、最先端の手法と同等またはそれ以上の予測精度を維持しながら、特徴量取得コストを最大60%まで削減する。