[論文レビュー] Identifiability Scaling Laws in Bilinear Inverse Problems

Sunav Choudhary, Urbashi Mitra|arXiv (Cornell University)|Feb 11, 2014

Blind Source Separation Techniques参考文献 18被引用数 33

ひとこと要約

本稿は、双線形逆問題（BIPs）における同定可能性を一元化して分析するための枠組みを提案する。リフト法を用いてBIPsを低ランク行列回復問題に変換し、決定論的同定可能性条件を確立するとともに、ロバスト同定可能性の確率とランク2の核空間の複雑さの間のトレードオフを示すスケーリング則を導出する。核空間の複雑さが中程度の場合は、多数のランダム信号例が同定可能であることが示され、ブラインドデコンボリューションの変種において数値的検証が行われている。

ABSTRACT

A number of ill-posed inverse problems in signal processing, like blind deconvolution, matrix factorization, dictionary learning and blind source separation share the common characteristic of being bilinear inverse problems (BIPs), i.e. the observation model is a function of two variables and conditioned on one variable being known, the observation is a linear function of the other variable. A key issue that arises for such inverse problems is that of identifiability, i.e. whether the observation is sufficient to unambiguously determine the pair of inputs that generated the observation. Identifiability is a key concern for applications like blind equalization in wireless communications and data mining in machine learning. Herein, a unifying and flexible approach to identifiability analysis for general conic prior constrained BIPs is presented, exploiting a connection to low-rank matrix recovery via lifting. We develop deterministic identifiability conditions on the input signals and examine their satisfiability in practice for three classes of signal distributions, viz. dependent but uncorrelated, independent Gaussian, and independent Bernoulli. In each case, scaling laws are developed that trade-off probability of robust identifiability with the complexity of the rank two null space. An added appeal of our approach is that the rank two null space can be partly or fully characterized for many bilinear problems of interest (e.g. blind deconvolution). We present numerical experiments involving variations on the blind deconvolution problem that exploit a characterization of the rank two null space and demonstrate that the scaling laws offer good estimates of identifiability.

研究の動機と目的

• 不適切に定式化された双線形逆問題（BIPs）、例えばブラインドデコンボリューションや辞書学習における同定可能性という根本的課題に取り組む。
• 双線形逆問題の多様な例にわたる同定可能性の分析を、低ランク行列回復問題に再定式化するリフト法を用いて統一する。
• 双線形写像のランク2の核空間の複雑さに依存する同定可能性の確率がどのように変化するかを定量化する確率的スケーリング則を導出する。
• ブラインドデコンボリューションなどの主要な問題において、ランク2の核空間を部分的または完全に特徴付けられることを示し、実用的な同定可能性評価を可能にする。
• 再重み付けされた核ノルムヒューリスティクスを用いて、ブラインドデコンボリューション問題の変種における数値実験を通じて理論的スケーリング則を検証する。

提案手法

• 本稿は、錐型の制約付きBIPsを低ランク行列回復問題に変換するリフト法を用い、行列回復理論のツールを活用する。
• 双線形写像のランク2の核空間と信号空間の幾何的関係に基づく決定論的同定可能性条件を導入する。
• 主なBIPs（例えば線形畳み込み）のランク2の核空間を特徴付け、これにより同定可能性のスケーリング則を導出する。
• 核空間の全探索が非現実的（例えば連続的ガウス入力の場合）な場合、同定可能性失敗確率を推定するために再重み付けされた核ノルムヒューリスティクスを適用する。
• 集中法と核空間の性質を用いて理論的バウンディングを導出し、依存的だが無相関、独立ガウス、独立ベルヌーイの3つの信号集合に特化した結果を得る。
• 信号次元と失敗確率の半対数プロットを用いて、シミュレーション結果と理論的予測を比較することで、数値的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 両方の入力信号が未知の状態で、双線形逆問題において一意な解が回復可能となる条件は何か？
• RQ2 双線形写像のランク2の核空間の複雑さが、ランダム信号例の同定可能性確率にどのように影響するか？
• RQ3 独立ガウスまたはベルヌーイベクトルのような典型的な信号集合に対して、高い確率で同定可能性を保証できるか？
• RQ4 線形畳み込みなどの双線形写像のランク2の核空間は、どの程度解析的に特徴付け可能であり、実用的な同定可能性分析を可能にするか？
• RQ5 導出されたスケーリング則は、ブラインドデコンボリューションの変種における数値実験で観測される同定可能性の実効的失敗確率を正確に予測できるか？

主な発見

• ロバスト同定可能性の確率は、ランク2の核空間の複雑さに反比例し、固定された入力サイズに対して、失敗確率の対数が信号次元に対して線形に依存する。
• 独立ガウス入力の場合、シミュレーションによる失敗確率は次元とともに指数関数的に減少し、フィッティングされた勾配は0.94から1.08の間であり、定理5が予測する理論的スケーリングとよく一致する。
• 線形畳み込み写像のランク2の核空間は部分的に特徴付け可能であり、これにより同定可能性スケーリング則の導出と数値的検証が可能になる。
• 再重み付けされた核ノルムヒューリスティクスは、核空間が非可算無限大であっても、同定可能性失敗確率を推定する実用的手法を提供するが、収束が単調でない可能性がある。
• 理論的およびシミュレーション結果は、核空間の複雑さがあまりに大きくない限り、多数のランダム信号例が同定可能であることを確認しており、提案されたスケーリング則の有効性を支持する。
• 本フレームワークは一般性に富み、ブラインドデコンボリューション、行列因子分解、辞書学習などの多様なBIPsに適用可能である。これは、統一的なリフトベースのアプローチに起因する。