[論文レビュー] Stochastic EM for Shuffled Linear Regression

Abubakar Abid, James Zou|arXiv (Cornell University)|Apr 2, 2018

Statistical Methods and Inference参考文献 15被引用数 13

ひとこと要約

この論文は、未知のラベル順序を潜在変数として扱うことで、パラメータ推定を改善する、シャッフル線形回帰のための確率的期待最大化（EM）フレームワークを提案する。複数のサンプルにおける順序の期待値を近似することで、特に部分的シャッフルデータやボストン・ハービングなどの実世界データセットにおいて、標準的なハードEMよりも低いパラメータ誤差とより高いロバストネスを達成する。

ABSTRACT

We consider the problem of inference in a linear regression model in which the relative ordering of the input features and output labels is not known. Such datasets naturally arise from experiments in which the samples are shuffled or permuted during the protocol. In this work, we propose a framework that treats the unknown permutation as a latent variable. We maximize the likelihood of observations using a stochastic expectation-maximization (EM) approach. We compare this to the dominant approach in the literature, which corresponds to hard EM in our framework. We show on synthetic data that the stochastic EM algorithm we develop has several advantages, including lower parameter error, less sensitivity to the choice of initialization, and significantly better performance on datasets that are only partially shuffled. We conclude by performing two experiments on real datasets that have been partially shuffled, in which we show that the stochastic EM algorithm can recover the weights with modest error.

研究の動機と目的

• 入力特徴量と出力ラベルがシャッフルされている場合に生じる線形回帰の課題に対処すること。この状況では、標準的な教師あり学習が適用できない。
• 未知の順序を潜在変数としてモデル化する、整合的な統計的フレームワークを構築すること。
• 確率的近似を用いて順序推定の不確実性を組み込むことで、支配的であるハードEM手法を改善すること。
• 部分的シャッフルが加えられた合成データおよび実世界データセットにおいて、初期化への感受性を低減する点で優れた性能を示すこと。
• 特徴量とラベルの対応が不完全な弱教師あり回帰のためのスケーラブルでロバストな代替手法を提供すること。

提案手法

• シャッフル回帰問題を、順序行列 Π₀ が観測されない潜在変数として扱う潜在変数モデルとして定式化する。
• 確率的EMを適用：Eステップでは、現在の重み推定値に基づく尤度を重み付けして、順序の事後分布を近似する。Mステップでは、Xの擬似逆行列を用いて重みベクトル w を更新する。
• モンテカルロサンプリングを用いて、すべての n! 種類の順序を計算する必要なく、複数の反復における順序行列の期待値を近似する。
• 観測データの対数尤度を w と Π の関数として定式化し、繰り返しによる期待と最大化のステップで最大化する。
• 生成モデル y = Π₀Xw₀ + e（e ~ N(0, σ²)）を導入し、Π₀ を観測されないものとして扱うことで、確率的推論を可能にする。
• 確率的EM手法と、各ステップで最も尤もらしい順序のみを選択する標準的ハードEMを比較する。ハードEMは初期化に極めて感受性が高くなる。

実験結果

リサーチクエスチョン

• RQ1 標準的な交互最適化と比較して、確率的EMフレームワークはシャッフル線形回帰におけるパラメータ推定を改善できるか？
• RQ2 部分的シャッフルデータセットにおいて、確率的EM手法はどのように性能を発揮するか？（一部の順序情報が保持されている状況）
• RQ3 確率的EMアルゴリズムは、ハードEM手法と比較して初期化への感受性がどの程度低減されるか？
• RQ4 匿名化またはシャッフルされたラベルを有する実世界データセットにおいて、提案手法は正確な回帰重みを回復できるか？
• RQ5 ノイズが存在する状況において、非凸性と過学習の影響により、現在の手法にどのような限界が生じるか？

主な発見

• 合成データセット（完全または部分的シャッフル）において、確率的EMはハードEMと比較して顕著に低いパラメータ誤差を達成した。
• 確率的EMは初期化への感受性が著しく低く、複数回の異なる初期化でも一貫した性能を示した。
• 中央価格の中央値で10グループに分けられたボストン・ハービングデータセットにおいて、確率的EMはテスト平均二乗誤差0.032を達成し、ハードEMを上回った。
• ハードEMアルゴリズムは、最適化の非凸性のため、大きな n や d の場合にしばしば悪い局所最適解に収束する。
• 多数の再起動を行っても、大きなデータセットではハードEMは確率的EMの性能に追いつかなかった。これはスケーラビリティの問題を示している。
• 複数の独立したシャッフル済みサブセットを用いることで、過学習が軽減され一般化性能が向上する。これは実世界応用における実用的戦略であると考えられる。