[論文レビュー] Open problem: Tightness of maximum likelihood semidefinite relaxations

Afonso S. Bandeira, Yuehaw Khoo+1 more|arXiv (Cornell University)|Apr 10, 2014

Sparse and Compressive Sensing Techniques参考文献 5被引用数 12

ひとこと要約

本稿は、ノイズのある回復問題における最大尤度推定（MLE）の半定値計画（SDP）緩和が、正確なMLE回復が不可能な場合でも、しばしば正しい低ランク解をもたらすという驚くべき経験的観察を調査する。主な貢献は、正確な回復が不可能な非正確回復の枠組みにおいて理論的根拠がないにもかかわらず、あるノイズ閾値未満でSDP緩和がタイト（正しいランクを回復）し続けるという未解決の予想である。

ABSTRACT

We have observed an interesting, yet unexplained, phenomenon: Semidefinite programming (SDP) based relaxations of maximum likelihood estimators (MLE) tend to be tight in recovery problems with noisy data, even when MLE cannot exactly recover the ground truth. Several results establish tightness of SDP based relaxations in the regime where exact recovery from MLE is possible. However, to the best of our knowledge, their tightness is not understood beyond this regime. As an illustrative example, we focus on the generalized Procrustes problem.

研究の動機と目的

• ノイズのある回復問題において正確なMLE回復が不可能な場合でも、半定値計画（SDP）緩和が頻繁に正しい低ランク解を回復する理由を理解すること。
• 非凸MLE問題のSDP緩和がタイト（つまり、擬似MLEと一致する正しいランクを持つ解を生成する）ための理論的条件を同定すること。
• 高ノイズ領域において正確な回復が不可能な状況下で、SDP緩和のランク回復に関する未解決問題を形式化し、動機づけること。
• 一般化Procrustesおよび多基準アライメントという2つの代表的問題について、数値的証拠と予想を提示すること。この2つの問題では、このランク回復現象が一貫して観察される。

提案手法

• 変換された測定値間の二乗差の和を最小化する orthogonal 行列に関する非凸最適化として、一般化Procrustes問題を定式化する。
• orthogonal 行列を正定値行列変数にラップアップし、非凸ランク制約を緩和することで、同等の半定値計画（SDP）を導出する。
• 元の非凸問題（2）の凸近似としてSDP緩和（3）を用い、解がランクdである場合に最適値が同一となるように保つ。
• d=1の場合のタイトネスを証明するための双対証明を構築するが、ノイズ下でのMLEの既知の形がないため、高次元では同様の議論が失敗することに注意する。
• d > 1の場合、正確なMLE回復が不可能な状況下でも、ノイズレベルσ*未満ではSDP緩和（3）がランクdを高確率で回復すると予想する。
• 多基準アライメント問題にも同様の予想を拡張し、SDPの構造は異なるが、中程度のノイズ下で同様のランク回復行動を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある回復問題におけるMLEのSDP緩和が、正確なMLE回復が不可能な場合でもなぜしばしば正しい低ランク解をもたらすのか？
• RQ2 ノイズレベルσ < σ* に対して、一般化Procrustes問題のSDP緩和が高確率で正しいランクdを回復する理論的閾値σ*が存在するか？
• RQ3 連続的パラメータ空間と非凸制約を持つ問題において、正確回復の範囲を超えてランク回復現象を厳密に説明できるか？
• RQ4 一般化Procrustesとは構造が異なるが、離散的・連続的パラメータ空間の違いがある多基準アライメント問題でも、同様のランク回復行動が成立するか？
• RQ5 ランダムSDP解のランクを分析する既存の理論的ツールが、これらの特定の回復問題における観察されたランク回復を説明できないのはなぜか？

主な発見

• d > 1の場合、一般化Procrustes問題において数値実験により、SDP緩和（3）が特定のノイズレベルσ*未満では高確率でランクdを回復することが示されたが、ノイズのℓ₂性質のため正確なMLE回復は不可能である。
• d = 1の場合、双対証明の構築によりSDP緩和のタイトネスが理論的に証明されたが、ノイズ下でのMLEの閉形式が不明なため、d > 1への一般化は失敗する。
• ランク回復現象は一般化Procrustes問題に限らず、グローバルレジストレーション、カメラモーション推定、多基準アライメントなどの関連問題でも観察される。
• 理論的説明が欠如しているにもかかわらず、数値的証拠（図1）により、一般化Procrustesおよび多基準アライメント問題の両方で、臨界ノイズ閾値未満でランク回復が高確率で発生すると予想される。
• 多基準アライメント問題のSDP緩和にはΩ(n²d²)個の正定値制約があり、ProcrustesのSDPとは構造的に異なるが、同様のランク回復行動を示す。これは、より広範な背後メカニズムが存在することを示唆する。
• 正確な回復がノイズが消える極限でのみ可能である場合でさえ、SDP緩和は定数かつ非ゼロのノイズレベルでも正しい解構造を捉えている。