[論文レビュー] The continuous categorical: a novel simplex-valued exponential family

Elliott Gordon-Rodríguez, Gabriel Loaiza-Ganem+1 more|arXiv (Cornell University)|Feb 20, 2020

Bayesian Methods and Mixture Models参考文献 9被引用数 6

ひとこと要約

本稿では、組成データをモデル化する際のディリクレ分布の主な限界を克服する、単形面上に定義された新しい指数型分布族「連続カテゴリカル（CC）分布」を導入する。連続ベルヌーイの多次元への一般化により、CC分布は解析的で、偏りのない推定が可能であり、扱いやすい対数尤度関数を備え、再パラメータ化可能なサンプリングも可能である。これにより、ディリクレ分布や交差エントロピーのベースラインと比較して、ニューラルネットワーク蒸留やその他の確率的モデリングタスクで優れた性能を発揮する。

ABSTRACT

Simplex-valued data appear throughout statistics and machine learning, for example in the context of transfer learning and compression of deep networks. Existing models for this class of data rely on the Dirichlet distribution or other related loss functions; here we show these standard choices suffer systematically from a number of limitations, including bias and numerical issues that frustrate the use of flexible network models upstream of these distributions. We resolve these limitations by introducing a novel exponential family of distributions for modeling simplex-valued data - the continuous categorical, which arises as a nontrivial multivariate generalization of the recently discovered continuous Bernoulli. Unlike the Dirichlet and other typical choices, the continuous categorical results in a well-behaved probabilistic loss function that produces unbiased estimators, while preserving the mathematical simplicity of the Dirichlet. As well as exploring its theoretical properties, we introduce sampling methods for this distribution that are amenable to the reparameterization trick, and evaluate their performance. Lastly, we demonstrate that the continuous categorical outperforms standard choices empirically, across a simulation study, an applied example on multi-party elections, and a neural network compression task.

研究の動機と目的

• 単形値データのための既存モデル、特にディリクレ分布や交差エントロピー最適化における系統的なバイアスと数値的不安定性を是正すること。
• 深層ニューラルネットワークのような柔軟で非線形な回帰関数をサポートできる、良好に定義された確率的モデルの開発。
• ゼロ値の観測が存在する場合でも尤度が発散しないように、不偏推定量を生成すること。
• 閉形式の正規化定数を提供し、変分推論への応用を可能にする再パラメータ化トリックを用いた効率的なサンプリングを実現すること。
• シミュレーションスタディ、選挙予測、ニューラルネットワーク蒸留タスクの複数の設定において、CCモデルの実証的妥当性を検証すること。

提案手法

• 単形上で定義され、1つの集中パラメータを持つ連続カテゴリカル（CC）分布を、連続ベルヌーイの多次元一般化として提案する。
• 尤度関数の対数尤度を、不偏な最尤推定を保証する十分統計量を用いて導出する。
• 初等関数を用いた閉形式の正規化定数を導入し、ディリクレモデルで一般的な数値的問題を回避する。
• 微分可能確率的モデルへの応用を想定し、再パラメータ化トリックと互換性を持つ拒否サンプリングアルゴリズムを提案する。
• ニューラルネットワーク蒸留の尤度関数としてCCを適用し、交差エントロピーを代替する正当な確率的目的関数を導入する。
• テスト精度、RMSE、最適化安定性の観点から、CCとディリクレ分布、交差エントロピーの各ベースラインを複数の設定で比較する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ分布の数値的・統計的欠陥を回避できる、単形上に定義された新規指数型分布族を構築可能か？
• RQ2 連続カテゴリカル分布は、極端な観測値下でも不偏推定量を生成し、数値的安定性を維持できるか？
• RQ3 CCは、計算の扱いやすさを保ちつつ、深層ニューラルネットワークのような柔軟で非線形なモデルをサポートできるか？
• RQ4 CCは、モデル蒸留および組成データモデリングの文脈で、交差エントロピーおよびディリクレ尤度と比較して、実証的に優れた性能を示すか？
• RQ5 CCは、多党派選挙予測やニューラルネットワーク圧縮といった下流タスクにおいて、より良い最適化の地形と一般化性能を提供できるか？

主な発見

• ニューラルネットワーク蒸留において、CCモデルは95.6%のテスト精度を達成し、交差エントロピーのベースライン（94.9%）およびディリクレ尤度（90.6%）を上回った。
• ソフトターゲットへの回帰において、CCのRMSEは0.024にまで低下したが、交差エントロピーでは0.029、ディリクル尤度では0.041であった。
• CCモデルは、特に低温度条件下で優れた最適化安定性を示した。一方、ディリクル尤度は極端なソフトターゲットの影響で数値的オーバーフローを発生させた。
• ゼロ値の観測が存在する場合でも、CCモデルの対数尤度は発散せず、これに対してディリクル分布はそのような状況で不安定性を示した。
• CCモデルは、十分統計量のおかげで不偏推定量を生成でき、最尤推定の原則に整合する。
• 潜在変数モデリング（例：トピックモデリング）では類似の性能を示したが、多項分布尤度との組み合わせで後方分布が扱いにくくなるため、その文脈では利用が制限されることが判明し、主な限界として浮き彫りになった。