[논문 리뷰] Unsupervised Learning with Imbalanced Data via Structure Consolidation Latent Variable Model

Fariba Yousefi, Zhenwen Dai외 2명|arXiv (Cornell University)|2016. 06. 30.

Machine Learning in Healthcare참고 문헌 5인용 수 4

한 줄 요약

이 논문은 새로운 커널 설계를 통해 잠재 공간을 공유 및 개인 서브공간으로 분할함으로써 불균형 데이터에서의 비지도 학습 문제를 해결하는 구조 통합 잠재변수 모델(SCLVM)을 제안한다. 이 방법은 공유 공간에서 공통 패턴을 유지하면서도 개인 공간에서 고유한 분류 특성을 분리함으로써 소수 클래스의 효과적 모델링을 가능하게 하며, 분류 과제에서 F1 스코어 0.482 ± 0.015를 기록하여 불균형한 의료 영상 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Unsupervised learning on imbalanced data is challenging because, when given imbalanced data, current model is often dominated by the major category and ignores the categories with small amount of data. We develop a latent variable model that can cope with imbalanced data by dividing the latent space into a shared space and a private space. Based on Gaussian Process Latent Variable Models, we propose a new kernel formulation that enables the separation of latent space and derives an efficient variational inference method. The performance of our model is demonstrated with an imbalanced medical image dataset.

연구 동기 및 목표

• 의료 영상에서 희귀한 양성 사례(예: 질병 형태학적 특징)가 포함된 극도로 불균형한 데이터셋에서 비지도 학습의 과제를 해결한다.
• 기존 모델이 다수 클래스에 의해 지배되어 소수 클래스의 표현이 열악한 문제를 해결한다.
• 통합 프레임워크 내에서 공통 규칙성과 분류 고유 특성을 함께 학습하는 확률론적 잠재변수 모델을 개발한다.
• SVM과 같은 판별 모델이 기준 비교에서 사용하는 것과 달리, 클래스에 대한 사후 확률 추정을 포함한 체계적인 확률론적 추론을 가능하게 한다.

제안 방법

• 모든 카테고리에 걸쳐 공통 패턴을 포착하는 공유 공간(Qs)과 카테고리 고유의 분산을 위한 개인 공간(Qp)으로 잠재 공간을 분할한다.
• 복합 커널 함수를 설계: k = ks(xs, xs′) + kp(xp, c_x; xp′, c_x′), 여기서 kp는 서로 다른 카테고리 간에 0이며, 각 클래스 내에서 기본 커널 k′를 사용한다.
• 효율적인 변분 추론을 가능하게 하기 위해 유도 입력 z와 레이블 cz를 활용한 희소 가우시안 프로세스 근사법을 적용한다.
• 잠재 확률의 로그 마진 가능성에 대한 폐쇄형 하한을 유도하여, 잠재 변수와 커널 하이퍼파rameter의 효율적 최적화를 가능하게 한다.
• 변분 추론을 통해 근사 사후분포 q(x)를 사용하여 잠재 표현에 대한 주변화를 수행하고, 증거 하한(lower bound, ELBO) 최적화를 수행한다.
• 수렴할 때까지 반복 업데이트를 통해 공유 및 개인 공간의 표현과 커널 파rameter를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 잠재변수 모델은 다수 클래스에 의해 지배되지 않고 극도로 불균형한 데이터로부터 효과적으로 학습할 수 있는가?
• RQ2 공유 및 개인 잠재공간을 함께 모델링하여 공통적인 구조와 카테고리 고유의 특성을 동시에 유지할 수 있는가?
• RQ3 제안된 커널 설계는 기존의 GPLVM에 비해 소수 클래스의 표현 학습에서 더 나은 성능을 내는가?
• RQ4 모델은 SVM과 같은 후처리 모델에 의존하지 않고 체계적인 확률론적 분류 출력을 제공할 수 있는가?
• RQ5 모델은 실제 불균형한 의료 영상 데이터에서 생성적 및 판별적 과제 모두에서 우수한 성능을 보이는가?

주요 결과

• SCLVM 모델은 총 146,562개의 패치 중 단 550개의 양성 미토시스 패치만 포함된 극도로 불균형한 데이터로부터 효과적으로 학습하며, 분류 과제에서 F1 스코어 0.482 ± 0.015를 달성한다.
• 공유 공간은 양성 및 음성 세포 간의 공통적인 구조적 패턴을 포착하는 반면, 개인 공간은 카테고리 고유의 특징을 명확히 분리함을 잠재공간의 시각화를 통해 확인할 수 있다.
• 학습된 SCLVM 모델에서 생성된 샘플들은 양성 및 음성 클래스의 형태학적 특징을 명확히 반영하고 있어 효과적인 생성 능력을 보여준다.
• 비교를 위해 단순한 후행 SVM을 사용했음에도 불구하고, SCLVM은 BGPLVM(F1: 0.447 ± 0.014)과 DGPLVM(F1: 0.390 ± 0.011)을 모두 능가하는 성능을 기록한다.
• BGPLVM과 DGPLVM는 SVM과 같은 후행 처리가 필요하지만, SCLVM는 이를 필요로 하지 않는 체계적인 확률론적 프레임워크를 제공한다.
• 개인 공간 메커니즘을 통해 소수 및 다수 클래스 간의 표현 학습을 안정적이고 효과적으로 균형 잡힌 방식으로 수행한다.