[論文レビュー] Active and Adaptive Sequential learning

Yuheng Bu, Jiaxun Lu+1 more|arXiv (Cornell University)|May 29, 2018

Machine Learning and Algorithms参考文献 16被引用数 3

ひとこと要約

本稿では、時間変動する機械学習問題において、過剰リスクを境界化するのを維持するために、情報量の多いサンプルを動的に選別し、サンプルサイズを調整する能動的で適応的な逐次学習フレームワークを提案する。モデルパラメータの変化率を推定し、アクティブサンプリングを用いた確率的勾配降下法を適用することで、ラベル付けコストを低減しつつ、ほぼ最適な性能を達成する。この手法は、合成データおよび実世界の推薦データで検証された。

ABSTRACT

A framework is introduced for actively and adaptively solving a sequence of machine learning problems, which are changing in bounded manner from one time step to the next. An algorithm is developed that actively queries the labels of the most informative samples from an unlabeled data pool, and that adapts to the change by utilizing the information acquired in the previous steps. Our analysis shows that the proposed active learning algorithm based on stochastic gradient descent achieves a near-optimal excess risk performance for maximum likelihood estimation. Furthermore, an estimator of the change in the learning problems using the active learning samples is constructed, which provides an adaptive sample size selection rule that guarantees the excess risk is bounded for sufficiently large number of time steps. Experiments with synthetic and real data are presented to validate our algorithm and theoretical results.

研究の動機と目的

• モデルパラメータが時間とともに徐々に変化する逐次機械学習問題に対処すること。各ステップ間でパラメータ変化が有界であること。
• 各時刻において未ラベルプールから最も情報量の多いサンプルを能動的に選別することで、ラベル付けコストを低減すること。
• 各時刻における過剰リスクが有界であることを保証するために、必要なサンプル数を適応的に決定すること。
• アクティブラーニングのサンプルを用いて、真のパラメータ変化率（$\rho$）を推定し、これにより適応的なサンプルサイズ選択を可能にすること。
• 過剰リスクとサンプル複雑度に関する理論的保証を提供するとともに、実用的な効率性を維持すること。

提案手法

• アルゴリズムは、過去のモデル推定値とフィッシャー情報に基づく分布を用いて、情報量の多いサンプルを優先するアクティブサンプリングを採用する。
• アクティブに選別されたラベルを用いて、確率的勾配降下法（SGD）によりモデルパラメータを更新する。
• アクティブラーニングのサンプルから、真の変化率 $\rho$ をほぼ確実に上界で抑える新しい推定子 $\hat{\rho}_t$ を構築する。
• 推定された $\hat{\rho}_t$ を用いて、時間経過に伴い過剰リスクが有界であることを保証するように、サンプルサイズ $K_t$ を適応的に選択する。
• 履歴情報を活用して、サンプリング戦略とモデル更新を改善し、時間変動する環境における効率性を向上させる。
• 本フレームワークは、線形回帰の合成データと、Yelpデータを用いたロジスティック回帰による実世界のユーザープレファレンス追跡に適用された。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングと適応的サンプルサイズ選択を組み合わせることで、時間変動する学習問題において過剰リスクを有界に保てるか？
• RQ2 アクティブラーニングのサンプルのみを用いて、モデルパラメータの変化率 $\rho$ を信頼性高く推定できるか？
• RQ3 推定された変化率 $\hat{\rho}_t$ と実際のパラメータシフト $\rho$ の間には、理論的にどのような関係があるか？
• RQ4 過剰リスクとサンプル効率の観点から、本手法は受動的またはランダムサンプリング戦略と比べてどのように優れているか？
• RQ5 $\hat{\rho}_t$ から導かれた適応的サンプルサイズルールは、長時間にわたる時系列においても過剰リスクを有界に保証できるか？

主な発見

• 提案されたアクティブで適応的なアルゴリズムは、逐次学習における最尤推定において、ほぼ最適な過剰リスク性能を達成する。
• 推定子 $\hat{\rho}_t$ は、ほぼ確実に真の変化率 $\rho$ の保守的上界に収束するため、信頼性の高いサンプルサイズ適応が可能になる。
• 合成回帰実験では、初期段階以降、アルゴリズムの過剰リスクは有界であり、ベースライン手法よりも顕著に低い水準を維持した。
• Yelpデータセットでは、1時刻あたり13個の適応的サンプルで分類誤差率6％を達成し、ベースラインを上回った。
• 理論的に導かれた適応的サンプルサイズは、$\hat{\rho}_t$ の収束に伴い時間経過とともに縮小し、リソースの効率的使用を示した。
• 真の変化率 $\rho$ が大きい場合でも、$\hat{\rho}_t$ の保守的推定により、過剰リスクが低く抑えられることが維持された。