[論文レビュー] Generalized Linear Models for Aggregated Data

Avradeep Bhowmik, Joydeep Ghosh+1 more|arXiv (Cornell University)|May 14, 2016

Bayesian Methods and Mixture Models参考文献 18被引用数 5

ひとこと要約

本稿では、個々の予測子は利用可能だが、反応はヒストグラムまたは順序統計量としてのみ把握可能な集計データに対する一般化線形モデル（GLM）の新しいフレームワークを提案する。反復的な補完と標準GLMの適合を繰り返すことで、正確な個別レベルの推論とモデルパラメータを回復でき、ヒストグラムの細分化度が高くなるに従い性能向上の効果が小さくなる傾向を示す。線形関係が元のデータに存在する場合、粗いビンであっても予測精度が非常に高いことが示された。

ABSTRACT

Databases in domains such as healthcare are routinely released to the public in aggregated form. Unfortunately, naive modeling with aggregated data may significantly diminish the accuracy of inferences at the individual level. This paper addresses the scenario where features are provided at the individual level, but the target variables are only available as histogram aggregates or order statistics. We consider a limiting case of generalized linear modeling when the target variables are only known up to permutation, and explore how this relates to permutation testing; a standard technique for assessing statistical dependency. Based on this relationship, we propose a simple algorithm to estimate the model parameters and individual level inferences via alternating imputation and standard generalized linear model fitting. Our results suggest the effectiveness of the proposed approach when, in the original data, permutation testing accurately ascertains the veracity of the linear relationship. The framework is extended to general histogram data with larger bins - with order statistics such as the median as a limiting case. Our experimental results on simulated data and aggregated healthcare data suggest a diminishing returns property with respect to the granularity of the histogram - when a linear relationship holds in the original data, the targets can be predicted accurately given relatively coarse histograms.

研究の動機と目的

• 個々のレベルの予測子は利用可能だが、反応はヒストグラムや順序統計量としてのみ入手可能な場合に、正確な個別レベルの推論を可能にする。
• 医療分野など機微な分野における生態的誤謬やプライバシーに起因するデータ歪みを軽減する。
• 限られた応答要約からモデルパラメータと個別レベルの予測を回復する実用的で反復的なアルゴリズムを開発する。
• ヒストグラムの細分化度の異なる状況下で本手法の性能を評価し、完全に観測されたデータのベンチマークと比較する。

提案手法

• 未観測の個別レベルの応答を補完し、補完されたデータに対して標準的な一般化線形モデル（GLM）を適合させるという、交互に繰り返す最適化問題として問題を定式化する。
• 順列不変性を極限ケースとして用いる：応答値が順列までしか特定できない場合、補完と順列検定の関係を活用して回復を支援する。
• より大きなビンを有する一般化されたヒストグラムデータへとフレームワークを拡張し、中央値などの順序統計量を極限ケースとして扱う。
• 反復的最適化により、補完された応答が観測されたヒストグラム制約と整合するように、L2ノルムの最小化を用いて補完を実行する。
• 5分割交差検証を用いて学習およびテストの性能を評価し、完全に観測されたデータで訓練された最適なGLMと比較する。
• 歪んだ目的変数（例：病院費用）に対して対数変換を適用し、データ分布に応じて適切なGLM族（正規分布、ポisson分布）を用いる。

実験結果

リサーチクエスチョン

• RQ1 個々のレベルの予測子が利用可能である場合、応答が集計データ（ヒストグラムや順序統計量）としてのみ入手可能であっても、正確な個別レベルの推論を回復できるか？
• RQ2 ヒストグラムの細分化度が増加するに従い、本手法の性能はどのように変化するか。また、性能向上の効果が小さくなる傾向（次第に効果が薄れる）が見られるか？
• RQ3 応答が順列までしか特定できない状況下で、本手法がどれほどモデルパラメータと個別予測を回復できるか？
• RQ4 複雑で歪んだ応答分布を示す実世界の医療データセットにおいて、本手法はどれほど有効か？
• RQ5 完全なデータ公開の代替手段としてプライバシー保護に役立つ場合、統計的妥当性と予測精度をどのように保持できるか？

主な発見

• 提案手法は、ヒストグラムの細分化度が高くなるに従い、完全に観測されたGLMの性能に近づく予測性能を達成しており、個別レベルの推論の回復が顕著に成功している。
• 次第に効果が薄れる性質（diminishing returns）が観察された。細かいヒストグラムによる性能向上の効果は急速に小さくなり、元のデータに線形関係が存在する場合には、比較的粗いビンでも高い精度が得られる。
• シミュレーションデータにおいて、順列検定が真の線形関係を的確に特定できる場合、本手法は理論的基盤を有する有効な性能を示した。
• DE-SynPUFデータセットでは、本手法の性能は最適な正規分布推定器とよく一致しており、回復されたヒストグラムは真の分布とよく一致した。
• テキサス入院患者データセットでは、本手法のポisson回帰性能はヒストグラムの細分化度が高くなるに従い向上し、完全に観測された推定器の性能に収束した。
• 結果から、プライバシー保護の目的でデータを集計することに過度に依存するのは危険であり、特定の条件下では依然として正確な推論が可能である可能性があると警告している。