[論文レビュー] Online Contrastive Divergence with Generative Replay: Experience Replay without Storing Data

Decebal Constantin Mocanu, Maria Torres Vega+3 more|arXiv (Cornell University)|Oct 18, 2016

Advanced Bandit Algorithms Research参考文献 2被引用数 18

ひとこと要約

本稿では、制限付きボルツマンマシン（RBMs）のための新しいオンライン学習手法である、生成的レプレイを用いたオンラインコントラストダイバージェンス（OCDGR）を提案する。従来の経験リプレイに代わり、RBM自身の生成的機能を用いて合成された過去の経験を生成することで、明示的なデータ保存を回避する。この手法により、メモリ使用量を著しく削減しながら、従来の経験リプレイと同等またはそれ以上の生成的性能を達成しており、実世界のデータセットにおいて64.28%のケースでERを上回った。時間計算量はほぼ同等を維持している。

ABSTRACT

Conceived in the early 1990s, Experience Replay (ER) has been shown to be a successful mechanism to allow online learning algorithms to reuse past experiences. Traditionally, ER can be applied to all machine learning paradigms (i.e., unsupervised, supervised, and reinforcement learning). Recently, ER has contributed to improving the performance of deep reinforcement learning. Yet, its application to many practical settings is still limited by the memory requirements of ER, necessary to explicitly store previous observations. To remedy this issue, we explore a novel approach, Online Contrastive Divergence with Generative Replay (OCD_GR), which uses the generative capability of Restricted Boltzmann Machines (RBMs) instead of recorded past experiences. The RBM is trained online, and does not require the system to store any of the observed data points. We compare OCD_GR to ER on 9 real-world datasets, considering a worst-case scenario (data points arriving in sorted order) as well as a more realistic one (sequential random-order data points). Our results show that in 64.28% of the cases OCD_GR outperforms ER and in the remaining 35.72% it has an almost equal performance, while having a considerably reduced space complexity (i.e., memory usage) at a comparable time complexity.

研究の動機と目的

• オンライン学習における従来の経験リプレイ（ER）の高いメモリ使用量、特にリソースが限られた環境における課題を解決すること。
• 生成モデルが生データを保存せずに、過去の経験を効果的に模倣できるかを検証すること。
• 明示的なデータ保持を避けて、生成的レプレイを利用するオンライン学習アルゴリズムをRBMs用に開発すること。
• 生成的性能とメモリ効率の観点から、提案手法と標準的なERとの性能を評価すること。

提案手法

• 各新しいデータポイントごとに重みを段階的に更新するオンラインコントラストダイバージェンス（OCD）を用いて、RBMをオンラインで訓練すること。
• 従来の経験リプレイの代わりに、RBM自身が合成された過去の経験を生成する生成的レプレイメカニズムを導入すること。
• 訓練されたRBMを用いて、学習済みの分布からのサンプリングを行い、オンライン学習中に過去に観測されたデータポイントを模倣すること。
• オンライン重み更新を通じてマルコフ連鎖構造を維持し、保存されたデータバッファに依存しない安定した学習を実現すること。
• オンライン更新中の対数尤度の勾配を近似するために、固定ステップ数（例：nCD = 3 または 10）のコントラストダイバージェンスを採用すること。
• 生成されたサンプルを、実際の過去の経験であるかのようにオンライン学習プロセスに統合することで、データ保存なしに継続的学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 RBMのような生成モデルは、生データを保存せずにオンライン学習において過去の経験を効果的に模倣できるか？
• RQ2 生成的レプレイを用いたオンラインRBM学習の生成的正確性は、従来の経験リプレイと比べてどの程度か？
• RQ3 コントラストダイバージェンスのステップ数が、オンラインRBMの生成的性能に与える影響は何か？
• RQ4 高いメモリ効率を達成しつつ、時間計算量を低く維持できるか？
• RQ5 データの複雑さとデータセットサイズの増加に伴い、この手法はどのようにスケーリングするか？

主な発見

• OCDGRは、テストされた9つの実世界データセットのうち64.28%で従来の経験リプレイを上回り、残りの35.72%はほぼ同等の性能を示した。
• MNISTデータセットにおいて、RBMOCDは10ステップのコントラストダイバージェンスを用いて、テストセットの平均対数尤度が-104.31に達した。これは3ステップで-108.96であったものよりも向上した。
• RBMOCDの学習曲線は時間経過に伴って安定しており、RBMER-MLおよびRBMER-IMはリプレイメモリの陳腐化に伴い分布カバレッジが悪化し、不安定な傾向を示した。
• OCDGRでは、データポイントを保存しないため、ERと比較してメモリ使用量が著しく削減された。一方、時間計算量はほぼ同等のままであった。
• データセットサイズと分布の複雑さが増すにつれ、OCDGRのERベースの手法に対する性能優位性は顕著に強化された。
• データの到着順序がソート済みでもランダムでも、本手法は安定的かつ一貫した性能を示し、データ順序に強く依存しないという堅牢性を示した。