[論文レビュー] Multiple Output Regression with Latent Noise

Jussi Gillberg, Pekka Marttinen+8 more|Explore Bristol Research|Oct 27, 2014

Machine Learning in Materials Science被引用数 8

ひとこと要約

本稿では、信号とノイズの両方に共通する潜在的要因を共有することにより、構造的ノイズと弱い信号を同時にモデル化するベイジアン低ランク回帰モデルを提案する。これにより、相関するターゲット間で強さを自動的に共有でき、特に弱い効果が顕著な高次元データにおいて、最先端の手法を上回る予測精度が得られる。回転不同定性を解消するため、無限次元の順序付き縮約事前分布と、潜在的信号対ノイズ比ハイパーパrameterを導入することで、弱い効果の検出に効果的に寄与する。

ABSTRACT

In high-dimensional data, structured noise caused by observed and unobserved factors affecting multiple target variables simultaneously, imposes a serious challenge for modeling, by masking the often weak signal. Therefore, (1) explaining away the structured noise in multiple-output regression is of paramount importance. Additionally, (2) assumptions about the correlation structure of the regression weights are needed. We note that both can be formulated in a natural way in a latent variable model, in which both the interesting signal and the noise are mediated through the same latent factors. Under this assumption, the signal model then borrows strength from the noise model by encouraging similar effects on correlated targets. We introduce a hyperparameter for the \emph{latent signal-to-noise ratio} which turns out to be important for modelling weak signals, and an ordered infinite-dimensional shrinkage prior that resolves the rotational unidentifiability in reduced-rank regression models. Simulations and prediction experiments with metabolite, gene expression, FMRI measurement, and macroeconomic time series data show that our model equals or exceeds the state-of-the-art performance and, in particular, outperforms the standard approach of assuming independent noise and signal models.

研究の動機と目的

• 高次元回帰における構造的ノイズ（複数のターゲットに同時に影響を与える交絡要因）の課題に取り組むこと。これは、弱いが意味のある信号を隠蔽する。
• ノイズと信号構造が独立であると仮定する標準的手法の限界を克服すること。これはノイズが強く構造的である場合、性能が低下する要因となる。
• 信号とノイズが同一の潜在的要因を通じて媒介される統一フレームワークを構築することにより、相関するターゲット間での情報共有を可能にする。
• 弱い効果の学習を促進するための潜在的信号対ノイズ比ハイパーパrameterを導入するとともに、低ランクモデルにおける回転不同定性を解消するための順序付き無限次元の縮約事前分布を提案する。
• 共通する潜在的構造を通じてノイズと信号を同時にモデル化する手法が、別々にモデル化する手法を上回ることを実証すること。特に、オミックスおよび時系列データを含む実世界のデータで顕著である。

提案手法

• モデルは、信号（回帰係数）とノイズ（構造的依存性）が同一の潜在的要因を通じて媒介されるという共同潜在的構造を仮定する。これにより、学習の共有が可能になる。
• 回帰係数行列の低ランク分解を用いる：Θ = ΨΓ、ここでΨ ∈ ℝ^{P×S₁} および Γ ∈ ℝ^{S₁×K} とし、モデルの複雑さを低減する。
• 潜在的信号対ノイズ比のハイパーパラメータを導入し、信号とノイズの影響を適応的にバランスさせる。これは弱い効果を検出する上で極めて重要である。
• 低ランクモデルにおける回転不同定性を解消するために、因子負荷量Γに順序付き無限次元の縮約事前分布を適用する。
• 条件付き共役事前分布を用いた階層ベイジアンモデルとして定式化し、MCMCまたは変分推論による効率的な事後分布推論を可能にする。
• 低ランクノイズ構造を用いることで、線形混合モデル（LMMs）を一般化し、ランダム効果の数をNKからNS₁に削減する。これにより、高次元ターゲットへのスケーラビリティが向上する。

実験結果

リサーチクエスチョン

• RQ1 共通する潜在的要因を通じて構造的ノイズと信号を同時にモデル化することで、弱い効果が顕著な多出力回帰の予測性能が向上するか？
• RQ2 潜在的信号対ノイズ比ハイパーパラメータの導入が、高次元でノイズの強いデータにおけるモデル性能に与える影響は？
• RQ3 順序付き無限次元の縮約事前分布が、低ランクベイジアン回帰モデルにおける回転不同定性を解消できるか？
• RQ4 信号とノイズの同時モデル化による性能向上は、ノイズと信号を別々にモデル化する場合を上回るか？
• RQ5 潜在的要因と独立した構造的ノイズが共存する実世界のデータにおいて、両者を同時にモデル化することは有益か、それとも同定性の問題により性能が劣化するか？

主な発見

• 提案された潜在的ノイズを伴うBRRRモデルは、代謝プロファイル、遺伝子発現、fMRI、マクロ経済時系列データを含むすべてのテストデータセットで、標準的な独立ノイズBRRRモデルを上回る性能を示した。
• 潜在的信号対ノイズ比ハイパーパラメータは、特に高次元データにおける弱い信号の検出において、最適な性能を発揮するために不可欠であった。
• 順序付き無限次元の縮約事前分布は、低ランクモデルにおける回転不同定性を効果的に解消し、モデルの安定性と解釈可能性を向上させた。
• シミュレーションおよび実データ実験の両方で、共通する潜在的構造を通じた信号とノイズの同時モデル化が、別々のモデル化アプローチを一貫して上回ることが示された。
• 潜在的要因と独立した構造的ノイズを同時に含む単一のモデルでは性能が劣化した。これは識別性の悪さに起因すると考えられ、主にノイズのタイプをモデル化するだけで十分であり、好ましいことである。