[논문 리뷰] A Unified Joint Matrix Factorization Framework for Data Integration

Lihua Zhang, Shihua Zhang|arXiv (Cornell University)|2017. 07. 25.

Gene expression and cancer classification참고 문헌 33인용 수 4

한 줄 요약

이 논문은 비음수 행렬 분해(NMF)에 희소 다중 관계 정규화를 통합하여 다중 데이터 행렬을 통합하는 통합된 공동 행렬 분해(JMF) 프레임워크를 제안한다. 이는 동시에 패턴 탐지와 데이터 통합을 가능하게 한다. 프레임워크는 PGM, FGM, APG, PANLS의 네 가지 효율적인 최적화 알고리즘을 활용하여, 합성 및 실세계 데이터셋에서 패턴 인식과 데이터 마이닝 성능이 뛰어나며, 특히 생물정보학 및 다중 시각 학습 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

Nonnegative matrix factorization (NMF) is a powerful tool in data exploratory analysis by discovering the hidden features and part-based patterns from high-dimensional data. NMF and its variants have been successfully applied into diverse fields such as pattern recognition, signal processing, data mining, bioinformatics and so on. Recently, NMF has been extended to analyze multiple matrices simultaneously. However, a unified framework is still lacking. In this paper, we introduce a sparse multiple relationship data regularized joint matrix factorization (JMF) framework and two adapted prediction models for pattern recognition and data integration. Next, we present four update algorithms to solve this framework. The merits and demerits of these algorithms are systematically explored. Furthermore, extensive computational experiments using both synthetic data and real data demonstrate the effectiveness of JMF framework and related algorithms on pattern recognition and data mining.

연구 동기 및 목표

• 다양한 관계를 가진 다중 데이터 행렬에 대해 공동 행렬 분해를 위한 통합 프레임워크가 부족한 문제를 해결하기 위해.
• must-link/cannot-link 제약 조건과 같은 희소 다중 관계 데이터를 단일 NMF 기반 분해 모델에 통합하기 위해.
• 비음수성과 수렴 보장을 유지하면서도 효율적이고 확장 가능한 최적화 알고리즘을 개발하기 위해.
• 생물정보학과 같은 분야에서 다중 시각 및 다중 옴믹스 데이터 설정에서 효과적인 데이터 통합과 패턴 인식을 가능하게 하기 위해.
• 공동 행렬 분해의 맥락에서 여러 최적화 전략의 성능을 체계적으로 비교 및 평가하기 위해.

제안 방법

• 다중 비음수 데이터 행렬 $X_I$를 $X_I \approx W H_I$로 동시에 분해하는 통합 JMF 프레임워크를 제안하며, 여기서 $W$는 공유 기저 행렬이고 $H_I$는 시각별 고유 계수 행렬이다.
• 라플라시안 행렬 $\Theta^s$ 를 통한 네트워크 정규화 제약 조건을 통합하여 국소 구조를 유지하고, 다양한 데이터 유형 간 must-link/cannot-link 관계를 강제한다.
• W와 $H_I$ 에 대해 $\ell_1$-노름을 사용한 희소성 정규화를 도입하여 부분 기반 및 해석 가능한 표현을 촉진한다.
• 프로젝션 기반 경사 하강법(PGM), 빠른 경사 하강법(FGM), 가속된 프록시멀 경사 하강법(APG), 프록시멀 교차선형 최소화법(PANLS)의 네 가지 서로 다른 최적화 알고리즘을 활용하며, 각각 수렴성과 효율성에 최적화되어 있다.
• 비음수성과 희소성 제약 조건 하에서 $W$와 $H_I$ 를 반복적으로 갱신하는 블록-좌표 업데이트를 통한 교차 최적화를 적용한다.
• PANLS에서는 프록시멀 및 공액 기울기 기법을 사용하여 수렴 속도를 가속화하고, 비연속 항을 처리하며, 적응형 선 탐색과 활성 집합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 관계와 구조를 가진 다중 데이터 행렬을 효과적으로 통합할 수 있는 통합 공동 행렬 분해 프레임워크는 가능한가?
• RQ2 제안된 JMF 프레임워크에서 PGM, FGM, APG, PANLS와 같은 다양한 최적화 알고리즘이 수렴 속도, 안정성 및 해의 품질 측면에서 어떻게 비교되는가?
• RQ3 네트워크 정규화 및 희소성 제약 조건을 통합할 경우, 다중 시각 데이터에서 인식된 패턴의 해석 가능성과 정확도는 어느 정도 향상되는가?
• RQ4 JMF 프레임워크는 실세계 데이터 통합 작업, 특히 생물정보학 및 패턴 인식 분야에서 얼마나 잘 성능을 발휘하는가?
• RQ5 $\lambda_1$, $\gamma_2$, $\eta$ 와 같은 튜닝 파rameter의 조정이 모델의 성능과 강인성에 어떤 영향을 미치는가?

주요 결과

• 제안된 JMF 프레임워크는 합성 및 실세계 데이터셋에서 기준 NMF 및 jNMF 모델에 비해 데이터 통합 및 패턴 인식 성능이 크게 향상된다.
• PANLS 알고리즘이 네 가지 최적화 방법 중에서 가장 빠른 수렴 속도와 가장 뛰어난 해의 품질을 보이며, 특히 고차원 및 노이즈가 많은 환경에서 뛰어난 성능을 발휘한다.
• 네트워크 정규화 제약 조건(예: must-link/cannot-link)을 통합할 경우, 다중 옴믹스 데이터 통합 작업에서 더 일관되고 생물학적으로 의미 있는 군집이 도출된다.
• 프레임워크는 유전자 발현 및 단백질-단백질 상호작용 네트워크와 같은 다양한 데이터 유형 간의 공통 및 시각별 패턴을 성공적으로 드러낸다.
• 광범위한 계산 실험을 통해 노이즈 수준과 결측 데이터의 다양성에 관계없이 모델이 강인성과 안정성을 유지함을 입증하였다.
• 희소성 제약 조건을 적용할 경우, 부분 기반 표현을 촉진하여 생물정보학 및 신호 처리 분야의 응용에서 중요한 해석 가능성 향상을 이룬다.