[논문 리뷰] Noisy and Incomplete Boolean Matrix Factorizationvia Expectation Maximization

Lifan Liang, Songjian Lu|arXiv (Cornell University)|2019. 05. 29.

Error Correcting Code Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 기대값 최대화(Expectation Maximization)를 사용하는 새로운 확률적 부울 행렬 분해 알고리즘을 제안하며, 잠재 요인의 형태에 대한 가정을 제거하기 위해 연속적인 파라미터를 베타 분포로 모델링하고 재매개변수화를 통해 경사상승법을 가능하게 한다. 이 알고리즘은 노이즈가 많고 완전하지 않은 데이터를 처리하는 데 있어 LoM 및 메시지 전달 기법과 같은 최신 기법들을 능가하며, 특히 요인 크기가 크게 다를 경우에 유의미한 성능 향상을 보인다. 이는 합성 데이터와 유전자 발현 분석, 뇌 영역 분할과 같은 실제 응용 사례에서 입증되었다.

ABSTRACT

Probabilistic approach to Boolean matrix factorization can provide solutions robustagainst noise and missing values with linear computational complexity. However,the assumption about latent factors can be problematic in real world applications.This study proposed a new probabilistic algorithm free of assumptions of latentfactors, while retaining the advantages of previous algorithms. Real data experimentshowed that our algorithm was favourably compared with current state-of-the-artprobabilistic algorithms.

연구 동기 및 목표

• 기존 부울 행렬 분해(BMF) 기법이 잠재 요인 형태에 대해 강한 가정을 내포하고 있어 실제 데이터에서는 종종 비현실적인 점을 해결하기 위해.
• 잠재 요인의 구조에 대한 사전 가정 없이 노이즈가 많고 완전하지 않은 데이터를 효과적으로 처리할 수 있는 강건하고 확장 가능한 BMF 알고리즘을 개발하기 위해.
• 유전자 발현 분석 및 뇌 영역 분할과 같이 본질적으로 누락되고 노이즈가 많은 데이터를 다루는 실제 응용 분야에서 성능을 향상시키기 위해.
• 연속적 파arameter화를 통해 요인 크기와 형태에 대한 제약을 완화함으로써 다양한 요인 패턴을 효과적으로 학습할 수 있도록 하기 위해.

제안 방법

• 잠재 요인은 [0,1] 범위의 연속적 파라미터로 모델링되며, 이는 고정된 형태를 가정하지 않고도 탄력적인 표현을 가능하게 한다.
• 이들 파라미터는 [0,1]에서 (−∞, +∞)로 재매개변수화되어 효율적인 경사상승 최적화를 가능하게 한다.
• 알고리즘은 기대값 최대화(EM) 프레임워크 내에서 잠재 요인과 균일한 노이즈를 동시에 추정한다.
• 생성 과정은 관측된 행렬, 요인 행렬 및 그들의 논리적 조합(OR-AND 연산) 각 요소에 대해 독립적인 베르누이 분포를 사용한다.
• 이론적 우도는 EM을 통해 최대화되며, E단계에서는 사후 확률을 계산하고, M단계에서는 경사상승을 통해 파라미터를 갱신한다.
• 연속적이고 미분 가능한 파라미터의 사용으로 인해 이 방법은 대규모 부울 행렬에 대해 확장 가능하고 효과적이다.

실험 결과

연구 질문

• RQ1 잠재 요인의 형태에 대해 고정되거나 균일한 형태를 가정하지 않고도 노이즈가 많고 완전하지 않은 데이터에서 부울 행렬 분해 알고리즘이 강건한 성능을 달성할 수 있는가?
• RQ2 잠재 요인의 구조에 대한 가정을 완화할 경우, 누락된 값과 노이즈가 있는 실제 생물의학 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 연속적 파라미터화와 경사상승을 적용한 제안된 EM 기반 방법이 LoM 및 메시지 전달 기법과 같은 기존 확률적 BMF 기법을 능가하는가?
• RQ4 요인 크기나 형태에 대한 사전 지식 없이도, 이 알고리즘이 유전자 발현 데이터와 공간 전사체 분석에서 의미 있는 생물학적 패턴을 얼마나 잘 복원할 수 있는가?

주요 결과

• 요인 크기가 다양하고 노이즈가 낮거나 중간 수준인 합성 데이터에서, 제안된 EM 알고리즘이 메시지 전달 및 LoM 모두를 능가했으며, 특히 요인 크기가 크게 다를 경우에 유의미한 성능 향상을 보였다.
• MovieLens 데이터셋에서, 관측된 데이터의 95%에서 EM 알고리즘이 68.2%의 정확도를 기록하여 메시지 전달(66.4%) 및 OrM(64.7%)을 능가했다.
• 유방암 아형 분류 문제에서 EM 알고리즘은 81.3%의 정확도를 기록했으며, LoM(77.8%) 및 메시지 전달(77.7%)을 크게 능가했으며, 특히 Her2 및 정상 유사 아형을 구분하는 데서 뛰어난 성능을 보였다.
• 공간 전사체 분석을 통한 해마 영역 분할에서, 알고리즘은 공간적으로 일관된 클러스터(2~15개 요인)를 성공적으로 식별했으며, 공간 사전 지식 없이도 노이즈와 누락 데이터에 강건함을 입증했다.
• 관측된 데이터 비율이 낮은 상황(예: 1% 관측 데이터)에서도 EM 알고리즘은 안정적인 성능을 유지했지만, LoM의 성능은 관측 비율이 30% 이하로 떨어지자 크게 악화되었다.
• 요인 크기에 대한 제한적인 가정을 피함으로써, 이론적 분류 성능 향상을 통해 데이터 내에서 미세하고 고분산 패턴을 효과적으로 포착할 수 있음을 입증했으며, 특히 생물학적으로 이질적인 아형의 분류 성능 향상이 두드러졌다.