[논문 리뷰] A Mixture of Matrix Variate Bilinear Factor Analyzers

Michael P. B. Gallaugher, Paul D. McNicholas|arXiv (Cornell University)|2017. 12. 22.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 3

한 줄 요약

이 논문은 높은 차원의 행렬 변량 데이터를 클러스터링하기 위한 새로운 혼합 행렬 변량 이차형 요인 분석기(MMVBFA) 모델을 제안한다. 이 모델은 행렬 변량 요인 분석과 유한 혼합 모델링을 융합한 것으로, 매개변수 추정을 위해 AECM 알고리즘을 사용하며, 시뮬레이션 및 실제 데이터셋(MNIST 및 Olivetti Faces 포함)에서 뛰어난 클러스터링 성능를 보이며, BIC는 항상 최적의 구성 요소와 요인을 선택한다.

ABSTRACT

Over the years data has become increasingly higher dimensional, which has prompted an increased need for dimension reduction techniques. This is perhaps especially true for clustering (unsupervised classification) as well as semi-supervised and supervised classification. Although dimension reduction in the area of clustering for multivariate data has been quite thoroughly discussed within the literature, there is relatively little work in the area of three-way, or matrix variate, data. Herein, we develop a mixture of matrix variate bilinear factor analyzers (MMVBFA) model for use in clustering high-dimensional matrix variate data. This work can be considered both the first matrix variate bilinear factor analysis model as well as the first MMVBFA model. Parameter estimation is discussed, and the MMVBFA model is illustrated using simulated and real data.

연구 동기 및 목표

• 세 방향(행렬 변량) 데이터의 모형 기반 클러스터링을 위한 차원 감소 기법의 부족을 해결한다.
• 고차원 행렬 데이터를 클러스터링 응용에 효과적으로 다룰 수 있는 유연하고 확장 가능한 방법을 개발한다.
• 이차형 구조와 혼합 모델링을 통합하여 요인 분석을 행렬 변량 데이터로 확장한다.
• 행렬 변량 데이터에 대해 동시에 클러스터링과 차원 감소를 수행할 수 있도록 하여 기존 다변량 및 행렬 변량 접근 방식을 초월한다.
• 정규 분포가 아닌 분포(예: t 분포 및 비대칭 행렬 변량 요인 등)로의 확장을 지원하는 프레임워크를 제공한다.

제안 방법

• 이차형 주성분 분석의 일반화로 복합 행렬 변량 이차형 요인 분석기(MMVBFA) 모델을 제안한다.
• 각 구성 요소는 이차형 정규 분포를 사용하며, 이차형 요인 구조를 포함한다: $\mathbf{X}_{g} = \mathbf{M}_{g} + \mathbf{A}_{g}\mathbf{Z}_{g}\mathbf{B}_{g}^{\top} + \mathbf{E}_{g}$, 여기서 $\mathbf{Z}_{g}$ 는 저차원 잠재 요인이다.
• 매개변수 추정을 위해 교대 기대 조건 최대화(AECM) 알고리즘을 사용한다.
• 구성 요소별 평균 행렬 $\mathbf{M}_{g}$, 행 및 열 요인 적재 행렬 $\mathbf{A}_{g}, \mathbf{B}_{g}$, 구성 요소 혼합 비율 $\pi_{g}$ 를 포함한다.
• 최적의 구성 요소 수와 잠재 요인 수를 선택하기 위해 베이지안 정보 기준(BIC)을 적용한다.
• 행렬 변량 정규 가정을 활용하여 향후 이차형 t, 비대칭 타원형, 일반화된 초구형 요인 분석기로의 확장을 허용한다.

실험 결과

연구 질문

• RQ1 이차형 요인 모델은 클러스터링 목적으로 효과적으로 행렬 변량 데이터로 확장될 수 있는가?
• RQ2 기존 방법과 비교해 볼 때 MMVBFA 모델은 고차원 행렬 변량 데이터의 클러스터링 성능가 얼마나 우수한가?
• RQ3 BIC를 사용하여 모델이 자동으로 최적의 구성 요소 수와 잠재 요인 수를 선택할 수 있는가?
• RQ4 반감독 학습은 실세계 이미지 데이터의 클러스터링 성능을 얼마나 향상시키는가?
• RQ5 모델은 안경과 같은 얼굴 특징과 같은 의미 있는 하위군을 탐지할 수 있는가?

주요 결과

• MMVBFA 모델은 모든 시뮬레이션 데이터셋에서 완벽한 분류 성능를 기록하였으며, BIC는 진짜 구성 요소 수와 요인 수를 정확히 선택하였다.
• MNIST 데이터셋에서, 75%의 감독 수준에서 평균 ARI는 0.93, MCR는 0.018를 기록하여 Gallaugher와 McNicholas(2018a)의 이전 연구를 능가하였다.
• MNIST 데이터에 대해 BIC가 선택한 행 및 열 요인 수는 모든 감독 수준에서 대부분 13에서 15 사이에 집중되어 있었다.
• Olivetti Faces 데이터셋에서는 BIC가 3개의 구성 요소를 선택하였고, 행 요인 수는 26, 열 요인 수는 23이었다. 구성 요소 3은 안경의 존재와 명확히 연관되어 있었다.
• 안경을 쓴 모든 얼굴 이미지가 구성 요소 3으로 분류되었고, 두 개만 제외하고는 모두 구성 요소 2로 분류되었다. 이는 모델이 의미 있는 얼굴 특징을 탐지할 수 있음을 보여준다.
• 추정된 위치 행렬의 히트맵은 감독 수준이 높아질수록 이미지 품질이 향상되었고, 25회 반복 실행 동안 일관된 성능를 유지하여 모델의 강건성을 입증하였다.