[論文レビュー] On the Model Shrinkage Effect of Gamma Process Edge Partition Models

Iku Ohama, Issei Sato+2 more|arXiv (Cornell University)|Sep 26, 2017

Bayesian Methods and Mixture Models参考文献 10被引用数 3

ひとこと要約

この論文は、ガンマ過程事前分布を用いたエッジパーティショニングモデル（EPM）のモデルスリムニング機構に、深刻な欠陥が存在することを特定する。具体的には、ガンマハイパーパラメータが自動的なアトム削除を妨げる。これを解決するために、制約付きガンマ事前分布を用いたCEPMとディリクレ事前分布を用いたDEPMの2つの改善モデルを提案。これにより、無限個のアトムの完全な周辺化が可能となり、崩壊ギブスサンプリングを用いた、真正に無限大のIDEPMモデルが構築された。このIDEPMモデルは、リンク予測、収束速度、混合効率の面で最先端の性能を達成する。

ABSTRACT

The edge partition model (EPM) is a fundamental Bayesian nonparametric model for extracting an overlapping structure from binary matrix. The EPM adopts a gamma process ($Γ$P) prior to automatically shrink the number of active atoms. However, we empirically found that the model shrinkage of the EPM does not typically work appropriately and leads to an overfitted solution. An analysis of the expectation of the EPM's intensity function suggested that the gamma priors for the EPM hyperparameters disturb the model shrinkage effect of the internal $Γ$P. In order to ensure that the model shrinkage effect of the EPM works in an appropriate manner, we proposed two novel generative constructions of the EPM: CEPM incorporating constrained gamma priors, and DEPM incorporating Dirichlet priors instead of the gamma priors. Furthermore, all DEPM's model parameters including the infinite atoms of the $Γ$P prior could be marginalized out, and thus it was possible to derive a truly infinite DEPM (IDEPM) that can be efficiently inferred using a collapsed Gibbs sampler. We experimentally confirmed that the model shrinkage of the proposed models works well and that the IDEPM indicated state-of-the-art performance in generalization ability, link prediction accuracy, mixing efficiency, and convergence speed.

研究の動機と目的

• エッジパーティショニングモデル（EPM）におけるモデルスリムニング効果が実際の応用で正しく機能しない理由を解明すること。
• 根本的要因を同定：EPMハイパーパrameterに設定されたガンマ事前分布が、内部のガンマ過程のスリムニング機構と干渉すること。
• CEPMおよびDEPMという新たな生成的構成を提案し、事前分布の依存関係を再定義することで、適切なモデルスリムニングを回復すること。
• すべてのパラメータ（無限個のアトムを含む）を周辺化可能な、真正に無限大のDEPMの完全なバージョン（IDEPM）を構築すること。
• 提案モデルが一般化性能、リンク予測精度、混合効率、収束速度の面で優れた性能を示すことを実証的に検証すること。

提案手法

• ハイパーパラメータの影響を内部のガンマ過程から分離するため、制約付きガンマ事前分布を用いたCEPMを提案。これにより、スリムニングはガンマ過程の影響のみに依存するよう保証される。
• EPMの潜在因子にガンマハイパーパラメータの代わりにディリクレ事前分布を導入することで、DEPMを提案。これにより完全な共役性と周辺化が可能になる。
• すべてのパラメータ（ガンマ過程の無限個のアトムを含む）を統合することで、DEPMの閉形式周辺尤度を導出。これによりIDEPMが得られる。
• すべてのモデルパラメータ（無限個のアトムとハイパーパラメータを含む）を周辺化した、IDEPM用の崩壊ギブスサンプラーを実装。
• 共役事前分布と条件付き分布を用いて、ハイパーパラメータα₁、α₂、γ₀、c₀の効率的後方推論を可能にする。
• 因子行列にl₁制約を適用することで、周辺尤度の簡略化と無限極限における取り扱いやすさを確保する。

実験結果

リサーチクエスチョン

• RQ1 標準的なEPMはガンマ過程事前分布を用いているにもかかわらず、なぜ適切なモデルスリムニングを達成できないのか？
• RQ2 EPMハイパーパラメータに設定されたガンマ事前分布は、内部のガンマ過程のスリムニング効果にどのように干渉するのか？
• RQ3 修正されたEPM構成により、活性アトムの期待数が有限かつデータ適応的になるようにできるか？
• RQ4 EPMフレームワーク内で、ガンマ過程の無限個のアトムを完全に周辺化することは可能か？
• RQ5 得られた真正に無限大のモデル（IDEPM）は、推論効率および予測性能の面で既存のモデルを上回るか？

主な発見

• EPMのモデルスリムニングは、ガンマハイパーパラメータの干渉により失敗しており、これらがガンマ過程の強度に乗算されることで、活性アトムの期待数が歪められる。
• EPMの強度関数の期待値は、ガンマ過程とハイパーパラメータの両方に依存するため、有限な活性アトムを保証することが不可能である。
• 提案されたCEPMおよびDEPMモデルは、強度関数がガンマ過程事前分布にのみ依存するようにすることで、適切なスリムニングを回復する。
• DEPMは、すべてのパラメータ（無限個のアトムを含む）を完全に周辺化可能であり、閉形式の周辺尤度を持つ真正に無限大のモデル（IDEPM）を実現する。
• IDEPMモデルは、合成データおよび実世界データにおいて、リンク予測精度、一般化能力、混合効率、収束速度の面で最先端の性能を達成する。
• IDEPM用の崩壊ギブスサンプラーは、共役後方更新を用いて、γ₀およびc₀を含むすべての潜在変数とハイパーパラメータを効率的に推論する。