[논문 리뷰] Integrative Generalized Convex Clustering Optimization and Feature Selection for Mixed Multi-View Data

Minjie Wang, Genevera I. Allen|PubMed|2019. 12. 11.

Face and Expression Recognition참고 문헌 78인용 수 21

한 줄 요약

이 논문은 혼합 다중 시각 데이터에서 통합 클러스터링과 특징 선택을 위한 볼록 최적화 프레임워크인 iGecco+를 제안한다. 각 시각의 손실 함수와 공동 융합 페널티를 사용하여 공통 샘플 그룹을 식별한다. 또한 희소 특징 선택을 위해 적응형 시프트된 그룹 라소 페널티를 도입하고, 일반화된 다중 블록 ADMM 알고리즘을 개발하여 고차원 유전체 및 텍스트 데이터에서 뛰어난 클러스터링 성능을 달성한다.

ABSTRACT

In mixed multi-view data, multiple sets of diverse features are measured on the same set of samples. By integrating all available data sources, we seek to discover common group structure among the samples that may be hidden in individualistic cluster analyses of a single data view. While several techniques for such integrative clustering have been explored, we propose and develop a convex formalization that enjoys strong empirical performance and inherits the mathematical properties of increasingly popular convex clustering methods. Specifically, our Integrative Generalized Convex Clustering Optimization (iGecco) method employs different convex distances, losses, or divergences for each of the different data views with a joint convex fusion penalty that leads to common groups. Additionally, integrating mixed multi-view data is often challenging when each data source is high-dimensional. To perform feature selection in such scenarios, we develop an adaptive shifted group-lasso penalty that selects features by shrinking them towards their loss-specific centers. Our so-called iGecco+ approach selects features from each data view that are best for determining the groups, often leading to improved integrative clustering. To solve our problem, we develop a new type of generalized multi-block ADMM algorithm using sub-problem approximations that more efficiently fits our model for big data sets. Through a series of numerical experiments and real data examples on text mining and genomics, we show that iGecco+ achieves superior empirical performance for high-dimensional mixed multi-view data.

연구 동기 및 목표

• 동일한 샘플 세트에서 측정된 다양한 데이터 유형(연속형, 카운트, 범주형, 비율) 간의 샘플 클러스터링 문제를 해결한다.
• 단일 시각 클러스터링의 한계를 극복하기 위해 다수의 데이터 소스를 통합하여 숨겨진 공통 그룹 구조를 밝혀낸다.
• 클러스터를 구분하는 데 기여하는 정보성 특징을 식별함으로써 고차원 혼합 데이터에서의 특징 선택을 가능하게 한다.
• 대규모 데이터셋에 대해 모델을 적합시키는 데 계산적으로 효율적인 알고리즘을 개발하면서 국소 최적값이 아닌 전역 최적값으로 수렴하도록 보장한다.

제안 방법

• 비정규 및 혼합 데이터 유형을 다루기 위해 각 데이터 시각에 대해 다른 볼록 손실 함수(예: 제곱 오차, 우도, 브레그만 발산)를 사용하여 통합 일반화 볼록 클러스터링(iGecco)을 수립한다.
• 모든 시각 간에 공동 융합 페널티를 적용하여 샘플 수준의 유사성을 유도함으로써 공통 클러스터링 구조를 유도한다.
• 특징을 시각별 손실 함수에 특화된 중심으로 수축시켜 희소하고 해석 가능한 특징 선택을 가능하게 하는 적응형 시프트된 그룹 라소 페널티를 도입한다.
• 최적화 문제를 효율적으로 해결하기 위해 부분 문제 근사 기법을 적용한 일반화된 다중 블록 ADMM 알고리즘을 개발한다.
• 비미분 가능하고 비분리 가능한 최적화 문제에 대해 제안된 ADMM 변종의 전역 수렴성을 증명한다.
• 혼합 데이터 유형 간의 동시에 클러스터링과 특징 선택을 수행할 수 있도록 프레임워크를 Gecco+와 iGecco+로 확장한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 유형(연속형, 카운트, 범주형, 비율)을 포함한 혼합 다중 시각 데이터를 효과적으로 통합하여 개선된 클러스터링을 달성할 수 있는 통합 볼록 최적화 프레임워크가 존재하는가?
• RQ2 통합 클러스터링에 특징 선택을 효과적으로 통합하여 기저 그룹을 구분하는 데 기여하는 정보성 특징을 식별할 수 있는가?
• RQ3 부분 문제 근사 기법을 적용한 일반화된 다중 블록 ADMM 알고리즘이 고차원, 비미분 가능 최적화 문제를 수렴 보장과 함께 효율적으로 해결할 수 있는가?
• RQ4 실제 고차원 혼합 데이터, 예를 들어 유전체 및 텍스트 데이터에서 iGecco+가 기존 방법보다 클러스터링 정확도와 특징 선택 성능에서 뛰어난가?
• RQ5 다양한 손실 함수(예: 우도, 제곱 오차)는 손실별 중심의 형성과 그로 인한 클러스터링 구조에 어떤 영향을 미치는가?

주요 결과

• iGecco+는 합성 및 실제 데이터 세트, 특히 유전체 및 텍스트 마이닝 응용 분야에서 클러스터링 정확도와 특징 선택 성능에서 뛰어난 경험적 성능을 달성한다.
• 적응형 시프트된 그룹 라소 페널티는 발견된 클러스터를 가장 잘 분리하는 각 시각의 관련 특징을 성공적으로 식별하여 설명 가능성과 모델 성능을 향상시킨다.
• 부분 문제 근사 기법을 적용한 일반화된 다중 블록 ADMM 알고리즘은 대규모 데이터셋에서 효율적인 계산을 가능하게 하여 표준 ADMM 접근 방식 대비 뚜렷이 런타임을 단축시킨다.
• 볼록 수식을 통해 강력한 통계적 및 수학적 성질을 확보하여 전역 최적성과 데이터 변동에 대한 안정성을 확보한다.
• TCGA 다오미크스 데이터셋에서 iGecco+는 정규분포(유전자 발현, 단백질), 비율 값(메틸화), 비대칭 분포(mRNA)를 가진 데이터를 효과적으로 처리했으며, 일관된 클러스터링 결과를 도출했다.
• 저자들이 제공한 데이터셋에서 Gecco+ 해법의 시각화 결과는 선택된 특징이 진짜 저자 그룹을 효과적으로 분리함을 확인하여, 이 방법이 생물학적 및 맥락적으로 의미 있는 특징을 식별할 수 있음을 검증한다.