[論文レビュー] Hierarchical correlation reconstruction with missing data, for example for biology-inspired neuron

Jarek Duda|arXiv (Cornell University)|Apr 17, 2018

Blind Source Separation Techniques参考文献 2被引用数 6

ひとこと要約

本稿では、欠損データを伴う多次元密度推定のための階層的相関再構成手法を提案する。正規直交多項式基底を用いて、利用可能なデータから周辺、2変量、および高次相関を独立してモデル化する。この手法により、完全な結合確率分布の推定が可能となり、正確な補完が実現され、不確実性を伴う予測が可能となる。また、局所的予測および浅い学習のための生物学的インスピレーションを受ける人工ニューロンとしても利用可能である。

ABSTRACT

Machine learning often needs to model density from a multidimensional data sample, including correlations between coordinates. Additionally, we often have missing data case: that data points can miss values for some of coordinates. This article adapts rapid parametric density estimation approach for this purpose: modelling density as a linear combination of orthonormal functions, for which $L^2$ optimization says that (independently) estimated coefficient for a given function is just average over the sample of value of this function. Hierarchical correlation reconstruction first models probability density for each separate coordinate using all its appearances in data sample, then adds corrections from independently modelled pairwise correlations using all samples having both coordinates, and so on independently adding correlations for growing numbers of variables using often decreasing evidence in data sample. A basic application of such modelled multidimensional density can be imputation of missing coordinates: by inserting known coordinates to the density, and taking expected values for the missing coordinates, or even their entire joint probability distribution. Presented method can be compared with cascade correlations approach, offering several advantages in flexibility and accuracy. It can be also used as artificial neuron: maximizing prediction capabilities for only local behavior - modelling and predicting local connections.

研究の動機と目的

• データ点の座標に欠損がある場合の多次元密度推定の課題に対処すること。
• 周辺平均に依存するのではなく、完全な結合確率分布をモデル化することで、データ補完の精度を向上させること。
• 推定された確率密度を用いて、補完における不確実性と曖昧性を捉えること。
• 局所的相関を不完全なデータから階層的相関項を用いてモデル化する、柔軟でパラメトリックなフレームワークの構築。
• モデルを生物学的ニューロンのアナログとして用いる可能性を検討し、部分的な入力からの局所的信号パターンの学習と予測を可能とすること。

提案手法

• 結合確率密度を、[0,1]^d 上の1次元直交多項式の積である正規直交基底関数の線形結合としてモデル化する。
• L²最適化により係数を推定する：各係数は、対応する基底関数を全利用可能なデータ点上でサンプル平均化したものである。
• 階層的にモデルを構築する：まず各座標の周辺密度を推定し、次にすべての必要な座標が存在するデータのみを用いて2変量、3変量、……の相関を追加する。
• 基底関数を、C ⊆ {1,…,d} のような座標の部分集合に対して用い、それぞれがC内の座標間の依存関係をモデル化する。
• 各相関レベルごとに正規化と係数推定を独立して行い、スパースで効率的な計算を可能にする。
• ニューロンのようなアーキテクチャにおいて、新しい接続パターンが現れた際に、新しい関数を追加することで基底を動的に適応させる。

実験結果

リサーチクエスチョン

• RQ1 欠損座標を伴う不完全なデータから、多次元確率密度をどのように効率的に再構成できるか？
• RQ2 階層的相関モデリングは、周辺補完や標準的手法と比較して、データ補完の精度を向上させられるか？
• RQ3 推定された結合確率分布を用いて、補完における不確実性と曖昧性をどのように捉えることができるか？
• RQ4 この密度モデルは、部分的な信号からの局所的入力を予測することで、生物学的ニューロンの機能的アナログとしてどれほど有効に機能できるか？
• RQ5 このような局所的で相関に基づくニューロンを用いたディープラーニングネットワークを構築するにあたり、どのようなアーキテクチャ的原則が必要か？

主な発見

• 本手法により、欠損座標の完全な結合確率分布の推定が可能となり、特に非線形またはクラスタ構造（例：円形データ）を示すデータでは、単純な平均補完を上回る高い補完精度が達成される。
• モデルは、二峰性分布（例：円形データにおける放物線的断面）のような複雑な構造を捉えることができ、密度の極小値を用いたクラスタ認識可能な補完を可能にする。
• 正規直交基底の係数は、サンプル平均を用いて独立して推定可能であり、スパースデータでも高速かつスケーラブルな計算が実現される。
• 本手法は不確実性の定量化をサポートする：単一の補完値ではなく、欠損変数の確率分布全体を提供する。
• モデルは、残りの入力を用いて欠損入力を予測する人工ニューロンとして直接利用可能であり、新しい信号パターンの出現に伴い基底を動的に適応可能にする。
• 階層的構造により、高次項の証拠が減少するに従い、データの可用性に応じて柔軟に相関をモデル化でき、フルモデルの再トレーニングなしに適応可能である。