[論文レビュー] Empirical Study of the Benefits of Overparameterization in Learning Latent Variable Models

Rares-Darius Buhai, Yoni Halpern+3 more|arXiv (Cornell University)|Jun 28, 2019

Machine Learning and Data Classification参考文献 24被引用数 13

ひとこと要約

本稿は、ノイズありORネットワーク、スパースコーディング、確率的コンテキストフリーグラマーの3つのモデルにおいて、真の成分の回復が、真の数よりも著しく多い潜在変数を用いた学習によって向上することを実験的に調査している。過パrameter化は、性能の低下を伴わず、最適化の安定性とパラメータ回復を向上させ、10倍の過パラメータ化でさえも性能に顕著な劣化を来さない。また、単純なフィルタリングにより真の成分を分離可能である。

ABSTRACT

One of the most surprising and exciting discoveries in supervised learning was the benefit of overparameterization (i.e. training a very large model) to improving the optimization landscape of a problem, with minimal effect on statistical performance (i.e. generalization). In contrast, unsupervised settings have been under-explored, despite the fact that it was observed that overparameterization can be helpful as early as Dasgupta & Schulman (2007). We perform an empirical study of different aspects of overparameterization in unsupervised learning of latent variable models via synthetic and semi-synthetic experiments. We discuss benefits to different metrics of success (recovering the parameters of the ground-truth model, held-out log-likelihood), sensitivity to variations of the training algorithm, and behavior as the amount of overparameterization increases. We find that across a variety of models (noisy-OR networks, sparse coding, probabilistic context-free grammars) and training algorithms (variational inference, alternating minimization, expectation-maximization), overparameterization can significantly increase the number of ground truth latent variables recovered.

研究の動機と目的

• 教師あり設定に比べ理論的理解が遅れている非教師あり潜在変数モデル学習における過パラメータ化の実験的利点を調査すること。
• さまざまなモデルと学習アルゴリズムにおいて、過パラメータ化が真の潜在変数の回復に与える影響を評価すること。
• 学習ハイパーパramーターや変分近似の変更に対する過パラメータ化のロバストネスを評価すること。
• 過パラメータ化が、真の成分に近い初期化の確率を高めるためのものか、それとも他の最適化ダイナミクスによるものかを特定すること。
• 過パラメータ化の限界、特に利益の逓減や性能の劣化の可能性を検討すること。

提案手法

• ノイズありORネットワーク、スパースコーディング、確率的コンテキストフリーグラマーの3つの潜在変数モデルに対する合成および準合成データセットを用いた実験。
• 真の数の10倍まで潜在変数の数を増やして学習し、回復度と対数尤度性能を測定。
• 複数の最適化アルゴリズムの使用：論理回帰識別ネットワークを用いた変分ベイズ推論、平均場変分後確率、交互最小化。
• 学習後、パラメータの類似度と事前確率に基づき、真の成分に一致する潜在変数を特定・保持する単純なフィルタリング手順の適用。
• 訓練中における訓練済み成分と真の成分との間の最小コスト二部マッチングを追跡し、潜在変数の一致度を可視化。
• ミニバッチサイズや変分後確率の選択など、学習ハイパーパramーターへの感受性の評価。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化は、非教師あり潜在変数モデル学習において真の潜在変数の回復を向上させるか？
• RQ2 過パラメータ化は、異なるモデルや学習アルゴリズムにおいて、ホールドアウト対数尤度と最適化安定性にどのように影響を与えるか？
• RQ3 過パラメータ化の利点は、真の成分に近い初期化の確率上昇によるものか、それとも他の最適化ダイナミクスによるものか？
• RQ4 極端な過パラメータ化（例：真の成分数の10倍）は、モデル性能と一般化にどのような影響を与えるか？
• RQ5 学習アルゴリズムの変更（例：ミニバッチサイズ、変分後確率）は、過パラメータ化と組み合わせて、回復性能にどのように作用するか？

主な発見

• 過パラメータ化により、真の潜在変数の回復数が顕著に増加し、モデルサイズが大きくなるにつれて、より多くの訓練実行で完全な回復が達成された。
• 真の数の10倍の潜在変数を用いても、ホールドアウト対数尤度は継続的に向上を示し、極端な過パラメータ化による顕著な性能劣化は認められなかった。
• 過パラメータ化の利点は、変分ベイズ推論における異なる後確率近似や交互最小化を含む、さまざまな学習アルゴリズムに対して堅牢であった。
• 潜在変数の一致度は訓練中に著しく変化しており、過パラメータ化が初期化の近接性を凌駕する最適化支援を提供していることが示された。
• 単純なフィルタリング手順（低い事前確率や類似度の高い重複変数を除外）により、過パラメータ化された解から真の成分を効果的に分離できた。
• 変分族の選択は性能に強く影響を与え、弱い近似（例：Šingliar & Hauskrecht, 2006）では、高い過パラメータ化であっても完全な回復が不可能であった。