[論文レビュー] On the optimal stacking of noisy observations

Øyvind Ryan|arXiv (Cornell University)|Apr 14, 2010

Spatial and Panel Data Analysis被引用数 1

ひとこと要約

この論文は、ランダム行列モデルにおけるノイズの多い観測値の最適なスタッキング戦略を調査し、スペクトル推定の分散を最小化することを目的としている。複合観測行列をできるだけ正方形に近づけることが推定誤差の分散を最小化することを示しており、垂直方向および水平方向のスタッキングは、すべてのスタッキングタイプと比較して漸近的に劣っているが、単純な平均化と比較して分散はすべて低減される。

ABSTRACT

Observations where additive noise is present can for many models be grouped into a compound observation matrix, adhering to the same type of model. There are many ways the observations can be stacked, for instance vertically, horizontally, or quadratically. An estimator for the spectrum of the underlying model can be formulated for each stacking scenario in the case of Gaussian noise. We compare these spectrum estimators for the different stacking scenarios, and show that all kinds of stacking actually decreases the variance when compared to just taking an average of the observations. We show that, regardless of the number of observations, the variance of the estimator is smallest when the compound observation matrix is made as square as possible. When the number of observations grow, however, it is shown that the difference between the estimators is marginal: Two stacking scenarios where the number of columns and rows grow to infinity are shown to have the same variance asymptotically, even if the asymptotic matrix aspect ratios differ. Only the cases of vertical and horizontal stackings display different behaviour, giving a higher variance asymptotically. Models where not all kinds of stackings are possible are also discussed.

研究の動機と目的

• ランダム行列モデルにおけるスペクトル推定の精度を向上させるために、複数のノイズを含む観測値を複合行列に最適にスタッキングする方法を特定すること。
• 垂直、水平、および二乗スタッキングの異なる配置から得られるスペクトル推定量の分散を比較すること。
• 単純な平均化と比較して、スタッキングが常に分散を低減することを確立し、分散を最小化するスタッキング方法を同定すること。
• 観測数が増加するに従って、さまざまなスタッキング設定下でのスペクトル推定量の漸近的挙動を分析すること。
• モデルの制約により、すべてのスタッキングタイプが実現可能でない場合を扱い、そのような状況下での最適スタッキングを特徴づけること。

提案手法

• 文献[12]で開発された、有限次元のガウス型ランダム行列に適応したモーメントに基づく自由確率論フレームワークを用いて、スペクトル推定量を導出する。
• 垂直スタッキング（L1×L2、L1行L2列）、水平スタッキング（L2×L1）、および二乗スタッキング（L1=L2）の3種類のスタッキングタイプを定義し、L=L1L2個のi.i.d.観測値から複合行列を構築する。
• 置換とペアリングを含む組合せ的トレース公式を用いて、元の決定的行列Dのスペクトルのp番目のモーメント推定量の分散を導出する。
• 置換グラフにおける異なる種類のペアリング（例：クロス同定、サイクル、木）の寄与を考慮し、モーメント法を用いてスペクトル推定量の分散を計算する。
• 漸近的解析を用いて、異なるスタッキング比における推定量の分散を比較し、推定量の分散が複合行列のアスペクト比に依存することを示す。
• 関数f(c) = c^{(k-l)/2} + c^{(l-k)/2}における凸性の議論を用いて、複合行列が可能な限り正方形である場合に分散が最小化されることを示す。

実験結果

リサーチクエスチョン

• RQ1 複数のノイズを含む観測値を複合行列にスタッキングすることで、単純な平均化と比較してスペクトル推定量の分散が低減されるか？
• RQ2 与えられた観測数に対して、垂直、水平、または二乗スタッキングのうち、どの配置がスペクトル推定量の分散を最小化するか？
• RQ3 観測数が増加するに従って、異なるスタッキングタイプにおけるスペクトル推定量の分散の漸近的挙動はどのように異なるか？
• RQ4 異なるスタッキング設定に対して、スペクトル推定量の有限標本分散を閉形式で表現できるか？
• RQ5 完全なスタッキング（例：正方形行列の構築）が不可能となる条件は何か？ その場合、最適推定量設計にどのような影響を与えるか？

主な発見

• すべてのスタッキング配置が、観測数にかかわらず、単純な平均化と比較してスペクトル推定量の分散を低減する。
• 複合観測行列が可能な限り正方形である場合、すなわちアスペクト比c = (nL1)/(NL2)が1に最も近い場合に分散が最小化される。
• p=1の場合、すべてのスタッキングタイプに対して推定量の分散はL⁻¹(nN)⁻¹D₁に等しいが、p≥2では垂直および水平スタッキングは二乗スタッキングよりも高い分散を示す。
• 観測数が増加するに従い、同じアスペクト比を持つスタッキングタイプでは推定量の漸近的分散が同一になるが、垂直および水平スタッキングは最適（正方形）スタッキングと比較して高い漸近的分散を示す。
• L₁を固定してL₂→∞（垂直スタッキング）の場合、分散はO(L⁻¹)の速度で減少するが、L₁→∞でL₂が固定（水平スタッキング）の場合、分散はO(L⁻¹/²)の速度で減少し、性能が劣ることが示される。
• 主な洞察は、分散が次のような凸関数f(c) = c^{(k-l)/2} + c^{(l-k)/2}を通じて行列の次元の積に依存し、c=1で最小化されることであり、正方形性が分散を最小化することを証明する。