[論文レビュー] Mass Personalization of Deep Learning

Johannes Schneider, Michail Vlachos|arXiv (Cornell University)|Sep 6, 2019

Machine Learning and Data Classification参考文献 26被引用数 9

ひとこと要約

本論文は、深層ニューラルネットワークの質量パーソナライゼーションのための、カリキュラム学習にインspiredされた3つの手法を提案し、性能の低下を防ぐために、多様で限定的なデータを初期段階で学習することの重要性を強調している。初期段階ですべてのクラスにすら少量でも触れることで、モデルの適応性と最終的な性能が向上することが判明しており、これは学習発達の心理的理論と整合している。

ABSTRACT

We discuss training techniques, objectives and metrics toward mass personalization of deep learning models. In machine learning, personalization refers to the fact that every trained model should be targeted towards an individual by optimizing one or several performance metrics and often obeying additional constraints. We investigate three methods for personalized training of neural networks. They constitute three forms of curriculum learning. The methods are partially inspired by the shaping concept from psychology. Interestingly, we discover that extensive exposure to a limited set of training data in terms of class diversity \emph{early} in the training can lead to an irreversible reduction of the capability of a network to learn from more diverse training data. This is in close alignment with existing theories in human development. In contrast, training on a small data set covering all classes \emph{early} in the training can lead to better performance.

研究の動機と目的

• 個々のユーザー向けの深層学習モデルの有効なパーソナライゼーションを可能にする訓練戦略を調査すること。
• カリキュラム学習およびデータ露出順序がモデルの性能と一般化に与える影響を調査すること。
• 限定的な初期データの多様性が原因で発生する、元に戻らない性能低下を防ぐ訓練レジームを同定すること。
• ニューラルネットワークの訓練ダイナミクスと人間の発達的学習理論との類似性を明らかにすること。

提案手法

• 3つのパーソナライズド訓練手法が提案され、それぞれが異なるデータ露出スケジュールを持つカリキュラム学習の原則に基づいている。
• これらの手法は、訓練プロセスの初期段階で提示される訓練データの順序と多様性を制御することを含む。
• 訓練は、初期学習軌道を形作るため、少数ながらクラスに多様なサブセットのデータから開始する。
• このアプローチは、初期段階での的を射た刺激が長期的学習を導くという心理的概念「シェーピング」にインspiredされている。
• パーソナライゼーションの有効性を保証するために、個別化された指標と制約を用いて性能を評価する。
• フレームワークは、最終的なモデルの能力に与える影響として、量ではなく初期段階のデータの多様性に注目する。

実験結果

リサーチクエスチョン

• RQ1 初期訓練データの順序と多様性は、パーソナライズド深層学習モデルの最終的性能にどのように影響するか？
• RQ2 カリキュラム学習戦略は、パーソナライズドモデルにおける元に戻らない性能劣化を防げるか？
• RQ3 限られたデータ量でも広範なクラス分布に初期段階で触れることで、モデルの一般化能力とパーソナライズ化精度が向上するか？
• RQ4 これらの訓練戦略は、人間の認知発達理論とどの程度整合するか？

主な発見

• 狭いクラスセットに限定的に初期段階で露出させると、パーソナライズドモデルで元に戻らない性能劣化が生じる。
• 訓練の初期段階で少数ながらクラスに多様なデータサブセットを用いることで、最終的なモデル性能が顕著に向上する。
• 初期段階でクラスの多様性を確保したモデルは、新しいパーソナライゼーションタスクへの適応性と一般化能力が優れている。
• 結果は、有効なパーソナライゼーションにおいて、初期段階のデータ量よりも初期段階のデータ多様性がより重要であるという仮説を支持している。