[論文レビュー] Scalable and Incremental Learning of Gaussian Mixture Models

Rafael Pinto, Paulo Martins Engel|arXiv (Cornell University)|Jan 14, 2017

Gaussian Processes and Bayesian Inference参考文献 24被引用数 5

ひとこと要約

本稿では、高速な段階的ガウス混合ネットワーク（FIGMN）を提案する。このアルゴリズムは、段階的ガウス混合モデルにおける高コストな行列逆行列計算と行列式計算を、精度行列と行列式に対する単一のランク1更新に置き換えることで、スケーラブルでデータ効率の高い手法を実現する。時間計算量をO(NKD³)からO(NKD²)に削減し、MNIST、CIFAR-10、強化学習環境を含む高次元タスクにおける効率的な学習を可能にし、ベースライン手法に比べて優れたデータ効率性と高速性を達成する。

ABSTRACT

This work presents a fast and scalable algorithm for incremental learning of Gaussian mixture models. By performing rank-one updates on its precision matrices and determinants, its asymptotic time complexity is of \BigO{NKD^2} for $N$ data points, $K$ Gaussian components and $D$ dimensions. The resulting algorithm can be applied to high dimensional tasks, and this is confirmed by applying it to the classification datasets MNIST and CIFAR-10. Additionally, in order to show the algorithm's applicability to function approximation and control tasks, it is applied to three reinforcement learning tasks and its data-efficiency is evaluated.

研究の動機と目的

• 段階的ガウス混合モデル（IGMN）の高い計算コストを軽減すること。これは、行列逆行列計算と行列式計算に起因し、立方時間に比例する。
• 画像分類（MNIST、CIFAR-10）や強化学習のような高次元タスクにおいて、完全共分散行列が性能向上に不可欠である場合に、効率的な学習を可能にすること。
• 順次的およびストリーム学習のシナリオにおいて、モデル品質を維持しつつ計算負荷を著しく削減することで、データ効率性を向上させること。
• 複数のランク1更新を単一のより安定した更新メカニズムに置き換えることで、精度行列と行列式の両方の速度と数値的安定性を向上させること。

提案手法

• アルゴリズムは、各ステップで行列逆行列を再計算するのではなく、ガウス成分の精度行列（共分散行列の逆行列）に対してランク1更新を実行する。
• 同じランク1更新の原則に基づいた閉形式の更新式を用いて行列式を計算し、高価な行列式再計算を回避する。
• 学習全体を通して完全共分散行列を維持することで、対角近似による精度損失を回避し、モデル品質を保つ。
• データポイントが既存の成分のマハラノビス距離の閾値内にある場合にのみ成分を更新することで、マージ／スプリット操作なしに段階的適合を実現する。
• 1パス学習戦略を採用し、各新しいデータポイントに対して即座にパラメータを更新することで、ストリームデータへの適用を可能にする。
• 事後確率は、更新済みの精度行列と行列式を用いて計算され、計算コストを低減しつつ確率的推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランク1更新を段階的GMMの精度行列と行列式に効果的に適用することで、立方時間計算量を排除できるか？
• RQ2 提案手法は、高次元設定下で、完全共分散IGMNと同等のモデル品質を維持しながら、著しく高速な学習時間を達成できるか？
• RQ3 強化学習の連続的制御タスクにおいて、改善されたアルゴリズムのデータ効率性は、既存のRLベースラインと比べてどのように異なるか？
• RQ4 画像（MNIST、CIFAR-10）のような高次元データに対して、精度を損なわずに効果的にスケーリングできるか？

主な発見

• FIGMNアルゴリズムは、行列逆行列の代わりにランク1更新を用いることで、漸近的時間計算量をO(NKD²)に低減し、元のIGMNのO(NKD³)に比べ顕著な改善を達成した。
• 高次元の合成データにおいて、FIGMNは優れたスケーラビリティを示し、次元が増加しても学習時間が線形に増加する一方で、元のIGMNでは時間計算量が立方的に増加した。
• 強化学習タスクでは、Cart-Poleを解くためにFIGMNは108.8エピソード（±22.49）で完了した。Sarsa(λ)（557エピソード）とTRPO（2103.5エピソード）を上回り、高いデータ効率性を示した。
• Mountain Carでは、FIGMNは403.83エピソード（±79.23）でタスクを完了した。Sarsa(λ)（1872.5エピソード）とTRPO（4064エピソード）に比べ顕著に高速で、優れたサンプル効率性を確認した。
• Acrobot環境では、FIGMNは301.6エピソード（±69.12）でタスクを完了した。Sarsa(λ)（742エピソード）とTRPO（2930.67エピソード）を上回ったが、Dueling Double DQNはより高いデータ効率性を示した。
• 推論フェーズは依然として立方時間計算量を有するが、出力数は通常入力数よりもはるかに少ないため、その影響は最小限であり、全体の実行時間は効率的である。