[논문 리뷰] Multiple Output Regression with Latent Noise

Jussi Gillberg, Pekka Marttinen외 8명|Explore Bristol Research|2014. 10. 27.

Machine Learning in Materials Science인용 수 8

한 줄 요약

이 논문은 다중 출력 회귀에서 구조적 잡음과 약한 신호를 함께 모델링하기 위해 신호와 잡음 간에 잠재因수를 공유함으로써 상관된 목표 변수들 간에 강도를 자동으로 빌려오는 Bayesian reduced-rank regression 모델을 제안한다. 이 방법은 잠재적 신호 대 잡음 비율 초수를 도입하고 순서가 지정된 무한차원 수축 사전분포를 적용하여 회전 불일치성 문제를 해결함으로써, 특히 약한 영향을 가지는 고차원 데이터에서 최신 기법들보다 예측 정확도를 향상시킨다.

ABSTRACT

In high-dimensional data, structured noise caused by observed and unobserved factors affecting multiple target variables simultaneously, imposes a serious challenge for modeling, by masking the often weak signal. Therefore, (1) explaining away the structured noise in multiple-output regression is of paramount importance. Additionally, (2) assumptions about the correlation structure of the regression weights are needed. We note that both can be formulated in a natural way in a latent variable model, in which both the interesting signal and the noise are mediated through the same latent factors. Under this assumption, the signal model then borrows strength from the noise model by encouraging similar effects on correlated targets. We introduce a hyperparameter for the \emph{latent signal-to-noise ratio} which turns out to be important for modelling weak signals, and an ordered infinite-dimensional shrinkage prior that resolves the rotational unidentifiability in reduced-rank regression models. Simulations and prediction experiments with metabolite, gene expression, FMRI measurement, and macroeconomic time series data show that our model equals or exceeds the state-of-the-art performance and, in particular, outperforms the standard approach of assuming independent noise and signal models.

연구 동기 및 목표

• 다중 목표 변수에 동시에 영향을 미치는 혼란 요인에 의해 발생하는 구조적 잡음 문제를 해결하기 위해 고차원 회귀에서 약한 신호를 가려내는 데 도전한다.
• 독립적인 잡음과 신호 구조를 가정하는 기존 모델의 한계를 극복하기 위해, 잡음이 강하고 구조적일 경우 성능 저하가 발생할 수 있음을 고려한다.
• 신호와 잡음이 동일한 잠재因수를 통해 매개되는 통합 프레임워크를 개발하여 상관된 목표 변수들 간에 정보 공유를 가능하게 한다.
• 약한 영향을 탐지하기 위해 유용한 잠재적 신호 대 잡음 비율 초수를 도입하고, 감소형 모델에서의 회전 불일치성을 해결하기 위해 순서가 지정된 무한차원 수축 사전분포를 적용한다.
• 공유된 잠재적 구조를 통해 잡음과 신호를 함께 모델링하는 것이 별도로 모델링하는 것보다 성능이 뛰어나며, 특히 실세계의 옴믹스 및 시계열 데이터에서 성능 향상이 뚜렷하다는 것을 입증한다.

제안 방법

• 모델은 모두 같은 잠재因수를 통해 매개되는 공동 잠재적 구조를 가정하며, 이는 신호(회귀 계수)와 잡음(구조적 의존성) 간의 공유 학습을 가능하게 한다.
• 회귀 계수 행렬의 저랭크 분해를 사용한다: Θ = ΨΓ, 여기서 Ψ ∈ ℝ^{P×S₁} 및 Γ ∈ ℝ^{S₁×K}이며, 이는 모델 복잡도를 감소시킨다.
• 잠재적 신호 대 잡음 비율 초수를 도입하여 유연하게 신호와 잡음의 영향을 균형 잡는다. 이는 약한 영향을 탐지하는 데 매우 중요하다.
• 감소형 모델에서의 회전 불일치성을 해결하기 위해 요인 하중 Γ에 순서가 지정된 무한차원 수축 사전분포를 적용한다.
• 조건부 공액 사전분포를 사용하는 계층 베이지안 모델로 구성되어 있으며, MCMC 또는 변분 방법을 통해 효율적인 사후 추론이 가능하다.
• 낮은 랭크 잡음 구조를 사용함으로써 선형 혼합 모델(LMMs)을 일반화하여, 무작위 효과의 수를 NK에서 NS₁로 감소시켜 고차원 목표 변수에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 공유된 잠재因수를 통해 구조적 잡음과 신호를 함께 모델링하는 것이, 약한 영향을 가지는 다중 출력 회귀에서 예측 성능을 향상시키는가?
• RQ2 잠재적 신호 대 잡음 비율 초수가 고차원이고 잡음이 많은 데이터에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 순서가 지정된 무한차원 수축 사전분포의 사용이 감소형 베이지안 회귀 모델에서의 회전 불일치성을 해결하는가?
• RQ4 신호와 잡음을 함께 모델링하는 것의 성능 향상이 별도로 모델링하는 것보다 더 크기는 한가?
• RQ5 잠재적 구조적 잡음과 독립적인 구조적 잡음이 모두 존재하는 실세계 데이터에서, 둘을 동시에 모델링하는 것이 유익한가, 아니면 식별성 문제로 인해 성능이 떨어지는가?

주요 결과

• 제안된 잠재적 잡음 BRRR 모델은 대사체학, 유전자 발현, fMRI, 거시경제 시계열 데이터를 포함한 모든 테스트 데이터셋에서 표준 독립적 잡음 BRRR 모델보다 뛰어난 성능을 보였다.
• 잠재적 신호 대 잡음 비율 초수는 특히 고차원 데이터에서 약한 신호를 탐지하는 데 있어 최적의 성능을 내기 위해 필수적이었다.
• 순서가 지정된 무한차원 수축 사전분포는 감소형 모델에서의 회전 불일치성을 성공적으로 해결하여 모델의 안정성과 해석 가능성 향상에 기여했다.
• 시뮬레이션과 실세계 데이터 실험 결과, 공유된 잠재적 구조를 통해 신호와 잡음을 함께 모델링하는 것이 항상 별도의 모델링 방법보다 뛰어난 성능을 보였다.
• 잠재적 구조적 잡음과 독립적인 구조적 잡음을 동시에 포함하는 단일 모델은 성능을 떨어뜨렸으며, 이는 식별성 문제로 인한 것으로 보이며, 주로 잡음의 주요 유형만 모델링하는 것이 충분하고 바람직하다는 것을 시사한다.