[論文レビュー] Online Learning: A Comprehensive Survey

Steven C. H. Hoi, Doyen Sahoo+2 more|arXiv (Cornell University)|Feb 8, 2018

Data Stream Mining Techniques参考文献 273被引用数 144

ひとこと要約

この調査はオンライン学習文献を系統的にレビューし、オンライン教師あり学習と部分フィードバック設定に焦点を当て、理論的基盤と分類法を提供する。

ABSTRACT

Online learning represents an important family of machine learning algorithms, in which a learner attempts to resolve an online prediction (or any type of decision-making) task by learning a model/hypothesis from a sequence of data instances one at a time. The goal of online learning is to ensure that the online learner would make a sequence of accurate predictions (or correct decisions) given the knowledge of correct answers to previous prediction or learning tasks and possibly additional information. This is in contrast to many traditional batch learning or offline machine learning algorithms that are often designed to train a model in batch from a given collection of training data instances. This survey aims to provide a comprehensive survey of the online machine learning literatures through a systematic review of basic ideas and key principles and a proper categorization of different algorithms and techniques. Generally speaking, according to the learning type and the forms of feedback information, the existing online learning works can be classified into three major categories: (i) supervised online learning where full feedback information is always available, (ii) online learning with limited feedback, and (iii) unsupervised online learning where there is no feedback available. Due to space limitation, the survey will be mainly focused on the first category, but also briefly cover some basics of the other two categories. Finally, we also discuss some open issues and attempt to shed light on potential future research directions in this field.

研究の動機と目的

• オンライン学習のコア概念、原理、分類法を要約する。
• 学習理論、最適化、ゲーム理論からオンライン学習の基盤をレビューする。
• オンライン教師あり学習と部分フィードバック設定を強調しつつ、簡単に教師なし学習に触れる。
• オンライン学習のオープン問題と将来の研究方向を議論する。

提案手法

• フィードバックのタイプによってオンライン学習技術を分類する：オンライン教師あり、限定的フィードバック、教師なし。
• オンライン二値分類と後悔最小化の標準的問題定式を提示する。
• 経験的リスク最小化、過剰リスクの分解、オンライン凸最適化の枠組みを説明する。
• 主なアルゴリズムファミリーを説明する：一階、二階、正則化ベースの方法（OGD、ONS、FTRL、OMD、EG、AdaGrad）。
• オンライン学習文脈におけるゲーム理論との関連性を概説する：ゲーム理論との接続、逐次的なゼロ和ゲーム。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習の主なカテゴリとフィードバックモデルは何か？
• RQ2 オンライン学習を支える基盤理論（学習理論、最適化、ゲーム理論）は何か？
• RQ3 コアなオンライン凸最適化手法とその後悔保証は何か？
• RQ4 オンライン学習アルゴリズムは古典的なバッチ学習やデータストリームとどう関係するか？
• RQ5 オンライン学習研究における未解決の課題と将来の方向性は何か？

主な発見

• フィードバックに基づくオンライン学習手法の分類法を提供する：オンライン教師あり、限定フィードバック付きのオンライン学習、オンライン教師なし学習。
• オンライン学習の文脈で後悔、経験的リスク、バイアスと分散のトレードオフを定義・検討する。
• 一階、二階、正則化ベースのオンライン最適化アルゴリズムとその理論的保証をレビューする。
• オンライン学習をゲーム理論に結びつけ、反復ゼロ和ゲームにおけるナッシュ均衡とミニマックス概念を含む。
• オンライン学習とオンライン凸最適化における未解決の課題と潜在的な今後の研究方向を指摘する。