[論文レビュー] Gaussian Process Regression for Binned Data

Michael Thomas Smith, Álvarez+1 more|arXiv (Cornell University)|Sep 6, 2018

Gaussian Processes and Bayesian Inference参考文献 2被引用数 4

ひとこと要約

本稿では、立方体領域と点の間の共分散を計算する解析的積分カーネルを導出することで、ボクセル化されたデータに対する原理的で整合性のあるガウス過程回帰手法を提案する。この手法により、ボクセル化された要約からの正確な確率的予測が可能になる。この方法は、特にビン数が少ない場合に、重心に基づく補間法を著しく上回り、長方形近似を用いることで不規則な多面体に対しても拡張可能となり、再構成精度が向上するとともに、微分プライバシーおよび積分予測への応用を可能にする。

ABSTRACT

Many datasets are in the form of tables of binned data. Performing regression on these data usually involves either reading off bin heights, ignoring data from neighbouring bins or interpolating between bins thus over or underestimating the true bin integrals. In this paper we propose an elegant method for performing Gaussian Process (GP) regression given such binned data, allowing one to make probabilistic predictions of the latent function which produced the binned data. We look at several applications. First, for differentially private regression; second, to make predictions over other integrals; and third when the input regions are irregularly shaped collections of polytopes. In summary, our method provides an effective way of analysing binned data such that one can use more information from the histogram representation, and thus reconstruct a more useful and precise density for making predictions.

研究の動機と目的

• 標準的なボクセル化データに対する回帰手法の限界、すなわち隣接ビンの情報を無視する、または補間によってビンの積分を歪めることを是正すること。
• 潜在関数の再構成をより正確にするために、ヒストグラム全体の情報を活用する原理的で確率的かつ整合性のある手法を開発すること。
• 長方形近似を用いることで、Census区画のような非立方体入力領域に対してもガウス過程回帰を拡張すること。
• 生データが入手不可で、ボクセル化要約のみが提供される状況下でも、微分プライバシー回帰を可能にするために、ボクセル化データ上で直接処理すること。
• 年齢層の人数など、任意の領域における積分の予測を可能にするために、ボクセル化要約を用いた予測を支援すること。

提案手法

• 立方体領域と点の間の共分散を計算する解析的積分カーネルを導出。これは、潜在関数の領域上での積分の期待値に基づく。
• ガウス過程の多変量正規分布の性質を用いて、点の値と領域積分の同時分布を計算する。
• ビン要約を既知の積分とみなして、潜在関数上の事後分布推論を可能にするために、ボクセル化データにこの手法を適用する。
• 非立方体領域については、複雑な多面体をハイパーレクタングルの集合で近似し、積分カーネルを用いて共分散を計算する。
• ベースラインとしてKyriakidis (2004) の点ベース近似法を採用し、近似誤差を低減するために点を長方形に置き換える改良を施す。
• RiihimäkiとVehtari (2010) の手法を用いて非負制約を組み込み、カウントや密度データをモデル化する際に物理的に意味のある予測を保証する。

実験結果

リサーチクエスチョン

• RQ1 各ビンの積分制約を尊重する形で、ガウス過程回帰をボクセル化データに効果的に適用できるか。すなわち、ビン平均を点観測として扱うのではなく、積分の制約を考慮するか。
• RQ2 鋭いピークや谷を持つ潜在関数において、提案された積分カーネル手法が重心補間法に比べて予測精度でどの程度優れるか。
• RQ3 Census区画のような不規則な形状の入力領域に対しても、この手法を拡張可能か。また、精度と計算コストのバランスを最適化するための近似戦略は何か。
• RQ4 生データが入手不可で、ボクセル化要約のみが公開される微分プライバシー設定下で、この手法はどの程度の性能を示すか。
• RQ5 非長方形領域に対して、長方形近似と点ベース近似を比較した場合、誤差と計算効率の観点でどちらが優れているか。

主な発見

• 積分カーネル手法は、特にビン数が少ない場合に、ビンの積分制約をよりよく捉えているため、重心補間法を著しく上回る。
• Censusベースの年齢-身長データセットにおいて、本手法は20代半ばの身長ピークを正しく捉えているが、重心法はビン境界との不整合によりこれを低減してしまう。
• 2次元多角形において、積分カーネルを用いた長方形近似は、点ベース近似に比べて共分散推定の平均絶対誤差（MAE）を最大60％まで低減した。
• 4次元超球実験では、同じ数の近似要素を用いた場合、長方形近似が点ベース近似のMAE（25.1 vs. 50.0）を半分にまで低減した。
• 本手法は、例えば若年成人の人数のような領域積分の予測を正確に行えるが、重心法では狭い年齢帯における人口を低減してしまう。
• RiihimäkiとVehtari (2010) の非負制約の組み込みにより、事後分布とハイパーパrameter推定値が変化したが、テスト例では単純なガウス尤度モデルがわずかに優れていた。