[論文レビュー] Linear regression without correspondence

Daniel Hsu, Kevin Shi+1 more|arXiv (Cornell University)|May 19, 2017

Sparse and Compressive Sensing Techniques参考文献 13被引用数 33

ひとこと要約

本稿では、定数次元における対応関係のない線形回帰の完全多項式時間近似スキーム（FPTAS）を提示し、i.i.d. ガウス型共変量とノイズなしの条件下で格子基底還元を用いた効率的な正確回復アルゴリズムを提案する。また、一貫性のある推定に必要な信号対雑音比（SNR）の根本的下界を確立し、対応関係が欠落している場合、大規模な標本サイズであっても回帰の正確回復が統計的に困難であることを示している。

ABSTRACT

This article considers algorithmic and statistical aspects of linear regression when the correspondence between the covariates and the responses is unknown. First, a fully polynomial-time approximation scheme is given for the natural least squares optimization problem in any constant dimension. Next, in an average-case and noise-free setting where the responses exactly correspond to a linear function of i.i.d. draws from a standard multivariate normal distribution, an efficient algorithm based on lattice basis reduction is shown to exactly recover the unknown linear function in arbitrary dimension. Finally, lower bounds on the signal-to-noise ratio are established for approximate recovery of the unknown linear function by any estimator.

研究の動機と目的

• 共変量と応答の間の対応関係が不明な状況における線形回帰のための効率的アルゴリズムの開発。
• この対応関係欠落設定下での真の線形モデルの回復における計算的・統計的限界の確立。
• 定数次元における最小二乗問題の完全多項式時間近似スキーム（FPTAS）の提供。
• i.i.d. ガウス型共変量とゼロノイズ下での格子基底還元を用いた正確回復アルゴリズムの設計。
• 回帰ベクトルの一致した推定に必要な信号対雑音比（SNR）の非漸近的下界の導出。

提案手法

• 任意の定数次元 d における最小二乗問題の完全多項式時間近似スキーム（FPTAS）を提案。(1+ε)-近似解を得るための実行時間は (n/ε)^O(d) である。
• 格子基底還元（Lenstra–Lenstra–Lovászアルゴリズム）を用いて、対応関係のない回帰問題を格子問題に還元し、i.i.d. 標準正規共変量と測定ノイズなしの下で正確回復を実現する。
• 共変量ベクトルと目的変数ベクトルの量子化を用いることで、格子ベースの回復アルゴリズムが n および d に対して多項式時間で実行可能になるようにする。
• R^d 内の単位球面上の 1/√2-パッキングを用いて、下界を導出するための区別可能な目的変数ベクトルの集合を構築する。
• Wasserstein-2 距離およびKullback-Leibler発散度を用いて、異なる目的変数ベクトル下での応答の経験的分布を比較し、Fanoの不等式の適用を可能にする。
• Fanoの不等式を用いて推定誤差の下界を導出し、特定のSNR閾値未満ではいかなる推定器でも高確率での回復が不可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 定数次元における対応関係のない最小二乗問題に対して、多項式時間近似アルゴリズムを設計できるか？
• RQ2 共変量が i.i.d. ガウス分布に従い、対応関係が欠落している状況でも、ゼロノイズ下で真の回帰ベクトルを正確に回復できるか？
• RQ3 対応関係のない設定下で、回帰ベクトルの一致した回復を達成するための最小信号対雑音比（SNR）は何か？
• RQ4 対応関係のない回帰の計算的・統計的複雑度は、古典的ラベル付き回帰と比べてどのように異なるか？
• RQ5 特定の分布的仮定下で、格子ベースの手法を用いて高次元における対応関係のない回帰問題を効率的に解けるか？

主な発見

• 任意の定数次元 d に対して、(1+ε)-近似解を得るための実行時間が (n/ε)^O(d) である、対応関係のない最小二乗問題のFPTASが開発された。
• i.i.d. N(0,I_d) の共変量とノイズレス条件下で、適切な量子化のもと、格子基底還元を用いた正確回復アルゴリズムが提案され、実行時間は poly(n,d) である。
• i.i.d. 標準正規共変量の下では、SNR ≥ Ω(d / log log n) でない限り、推定誤差が (1/24)‖w̄‖₂ 未満になることは不可能である。
• [-1/2,1/2]^d 上の一様分布共変量の下では、SNR ≥ 2 でない限り、誤差が (1/2)(1−1/√2)‖w̄‖₂ 未満になることは不可能である。
• 対応関係のない設定下での一貫性のある回復に必要なSNRは、古典的回帰と比べて顕著に高く、正規分布下では d/log log n のオーダーで増加し、一様分布下では一定に保たれる。
• 下界の結果から、対応関係のない回帰の統計的難易度は、ラベル付き回帰よりも根本的に高く、漸近的にも同様であることが示された。