[論文レビュー] General Latent Feature Models for Heterogeneous Datasets

Isabel Valera, Melanie F. Pradier+2 more|arXiv (Cornell University)|Jun 12, 2017

Bayesian Methods and Mixture Models参考文献 26被引用数 16

ひとこと要約

本稿では、離散変数、連続変数、カウント変数を併せ持つ混合データセットを対象とした一般化されたベイジアン非パラメトリック潜在特徴モデル（GLFM）を提案する。疑似観測値と変換関数を導入することで、GLFMはインドのバッファート・プロセス（IBP）を拡張し、共役性を維持するとともに線形時間の推論を可能にし、実世界のデータにおいて正確な欠損値補完と解釈可能なパターン同定を実現する。

ABSTRACT

Latent feature modeling allows capturing the latent structure responsible for generating the observed properties of a set of objects. It is often used to make predictions either for new values of interest or missing information in the original data, as well as to perform data exploratory analysis. However, although there is an extensive literature on latent feature models for homogeneous datasets, where all the attributes that describe each object are of the same (continuous or discrete) nature, there is a lack of work on latent feature modeling for heterogeneous databases. In this paper, we introduce a general Bayesian nonparametric latent feature model suitable for heterogeneous datasets, where the attributes describing each object can be either discrete, continuous or mixed variables. The proposed model presents several important properties. First, it accounts for heterogeneous data while keeping the properties of conjugate models, which allow us to infer the model in linear time with respect to the number of objects and attributes. Second, its Bayesian nonparametric nature allows us to automatically infer the model complexity from the data, i.e., the number of features necessary to capture the latent structure in the data. Third, the latent features in the model are binary-valued variables, easing the interpretability of the obtained latent features in data exploratory analysis. We show the flexibility of the proposed model by solving both prediction and data analysis tasks on several real-world datasets. Moreover, a software package of the GLFM is publicly available for other researcher to use and improve it.

研究の動機と目的

• 離散的・連続的・混合属性を併せ持つ異種データセットに対する潜在特徴モデルの不足を補う。
• 非パラメトリック事前分布を用いて、データからモデルの複雑さ（潜在特徴数）を自動的に推論可能にする。
• 異種のデータタイプにもかかわらず、計算効率と共役性の性質を維持する。
• 効果的な探索的データ分析のため、解釈可能なバイナリ値をとる潜在特徴表現を提供する。
• 多様な研究分野での実用的利用を想定し、公開可能なソフトウェアツールボックスを開発する。

提案手法

• 補助的な実数値の疑似観測値を導入することで、インドのバッファート・プロセス（IBP）を異種データに拡張する。
• 各属性の尤度を、疑似観測値を実際のデータ空間に写像する変換関数（例：正規分布、カテゴリカル分布、ポアソン分布）を用いてモデル化する。
• 疑似観測値を条件とした際の後erior分布が指数型分布族に属するようにすることで、共役性を保持する。
• 対象数および属性数に関して線形時間の複雑度を達成する、畳み込みギブスサンプリング推論アルゴリズムを導出する。
• 非パラメトリック事前分布（例：IBP）を用いて、データから潜在特徴数を直接推論する。
• 欠損値補完および探索的分析の両方を可能にするソフトウェアツールボックス（GLFM）にモデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン非パラメトリック潜在特徴モデルは、混合離散・連続・カウント変数を含むデータセットを効果的に処理できるか？
• RQ2 異種のデータタイプにもかかわらず、提案手法は計算効率と共役性を維持するか？
• RQ3 手動でのチューニングなしに、データから適切な潜在特徴数を自動的に推論できるか？
• RQ4 従来の手法と比較して、異種データベースにおける欠損値予測性能はどの程度高いか？
• RQ5 バイナリ値をとる潜在特徴は、実世界のデータにおいて解釈可能で意味のあるパターンをどの程度明らかにできるか？

主な発見

• GLFMモデルは、欠損値補完タスクにおいて、ベイジアン確率的行列分解（BPMF）およびガウス分布仮定に基づく標準IBPを上回る性能を示した。
• 対象数および属性数に関して線形時間の推論複雑度を達成しており、大規模データセットへのスケーラビリティを実現した。
• バイナリ値をとる潜在特徴は高い解釈可能性を提供し、実世界のデータにおける人口統計的・行動的パターンの明確な同定を可能にした。
• 米国大統領選挙の分析において、モデルは投票パターン（例：ノースイースト地域のペロット支持層、共和党政権の農村部）を的確に回復し、歴史的知見と整合した。
• GLFMツールボックスはGitHubで公開されており、多様な分野における欠損値推定および探索的データ分析をサポートしている。
• モデルの非パラメトリック性により、事前の指定なしに最適な潜在特徴数を自動で発見できる。