[論文レビュー] Minimax estimation in linear models with unknown design over finite alphabets

Merle Behr, Axel Munk|arXiv (Cornell University)|Nov 11, 2017

Advanced Wireless Communication Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、既知の有限アルファベットに値をとる未知の設計行列 𝔽 とパラメータ行列 𝝎 を同時に回復するためのミニマックス最適で線形時間の推定手順を提案する。多変量線形モデル Y = 𝔽𝝎 + Z において、この手法は弱い識別可能性条件のもとで正確な回復を可能にし、ガウスノイズ下でも 𝔽 および 𝝎 に対してミニマックス最適レートを達成する。

ABSTRACT

We provide a minimax optimal estimation procedure for F and W in matrix valued linear models Y = F W + Z where the parameter matrix W and the design matrix F are unknown but the latter takes values in a known finite set. The proposed finite alphabet linear model is justified in a variety of applications, ranging from signal processing to cancer genetics. We show that this allows to separate F and W uniquely under weak identifiability conditions, a task which is not doable, in general. To this end we quantify in the noiseless case, that is, Z = 0, the perturbation range of Y in order to obtain stable recovery of F and W. Based on this, we derive an iterative Lloyd's type estimation procedure that attains minimax estimation rates for W and F for Gaussian error matrix Z. In contrast to the least squares solution the estimation procedure can be computed efficiently and scales linearly with the total number of observations. We confirm our theoretical results in a simulation study and illustrate it with a genetic sequencing data example.

研究の動機と目的

• 未知の設計行列 𝔽 とパラメータ行列 𝝎 を、𝔽 が既知の有限集合に制限される線形モデルにおいて同時に推定する統計的課題に取り組む。
• 観測データ Y から 𝔽 と 𝝎 を一意に分離できるようなモデルの識別可能性を確立する条件を提示する。
• 観測数に線形的にスケーリングする計算効率の良い推定手順を開発し、ミニマックス最適レートを達成する。
• ノイズのない状況における正確な回復と i.i.d. ガウスノイズ下でのミニマックス推定レートに関する理論的保証を提供する。
• シミュレーションと遺伝学的シーケンシングデータを用いたがん遺伝学分野の実世界応用を通じて、手法の有効性を検証する。

提案手法

• 𝔽 ∈ 𝔸ⁿˣᵐ で 𝔸 が既知の有限集合である多変量有限アルファベット盲分離（MABS）モデルを提案し、𝔽 と 𝝎 の識別可能性を可能にする。
• 𝔽 が与えられたもとで 𝝎 を推定し、逆に 𝝎 が与えられたもとで 𝔽 を更新する交互反復アルゴリズム（Lloyd型）を導入し、有限アルファベット制約を活用する。
• ノイズのない状況における観測行列 Y の摂動解析を実施し、𝔽 と 𝝌 の安定的回復領域を定量化する。
• 推定誤差のミニマックス下界を導出し、提案手法が対数要因を除いてこれらの下界を達成することを示す。
• 推定誤差を測定するためのフロベニウスノルムおよび ∞,2 ノルムを用い、集中不等式を用いてノイズの伝播を制御する。
• 遺伝学的シーケンシングデータセットを用いた実データへの応用を通じて、がん遺伝学分野における実用的有用性を示す。

実験結果

リサーチクエスチョン

• RQ1 𝔽 が未知であるが有限アルファベットに制限される場合、Y = 𝔽𝝩 + Z において設計行列 𝔽 とパラメータ行列 𝝎 がどの条件下で一意に回復可能となるか？
• RQ2 i.i.d. ガウスノイズを伴う有限アルファベット線形モデルにおいて、𝔽 および 𝝎 のミニマックス最適推定レートは何か？
• RQ3 この設定においてミニマックス最適性を達成する効率的で線形時間のアルゴリズムを構築できるか？
• RQ4 提案手法はノイズのない状況における正確な回復とノイズ下での安定的回復において、どのように性能を発揮するか？
• RQ5 本手法は、盲分離や遺伝学的シーケンシングデータ解析といった実世界の応用にどの程度一般化可能か？

主な発見

• 有限アルファベット制約により、標準的線形モデルが回復不能となる一般状況でも、弱い条件下で 𝔽 と 𝝎 が識別可能となり、回復可能である。
• 提案された反復的アルゴリズムは、i.i.d. ガウスノイズ下でも、対数要因を除いて 𝔽 および 𝝎 両方のミニマックス最適推定レートを達成する。
• ノイズのない状況では、観測行列 Y が信号対ノイズ比とアルファベット構造によって定まる摂動範囲内にある場合、𝔽 と 𝝎 の正確な回復が可能である。
• アルゴリズムは観測数に対して線形にスケーリングされ、従来の最小二乗法と比較して計算的に効率的である。
• 集中不等式および摂動解析を用いた理論的保証により、高い確率で真のパラメータが回復可能であることが示された。
• シミュレーションデータおよび実際の遺伝学的シーケンシングデータセットを用いた実証的検証により、本手法のロバストネスとがん遺伝学および信号処理分野における実用的妥当性が確認された。