[논문 리뷰] Nonlinear Models Using Dirichlet Process Mixtures

Babak Shahbaba, Radford M. Neal|ArXiv.org|2007. 03. 10.

Bayesian Methods and Mixture Models참고 문헌 46인용 수 223

한 줄 요약

이 논문은 응답 변수와 공변량의 연합 분포를 비모수적으로 모델링하기 위해 딜레트 프로세스 혼합을 사용하는 비선형 분류 모델을 제안한다. 각 혼합 성분 내에서는 선형 관계를 가정한다. 이 방법은 비선형 및 계층적 분류 문제에서 특히 단백질 접힘 예측에서 기존의 SVM, 신경망, 선형 모델보다 뛰어난 성능을 달성한다.

ABSTRACT

We introduce a new nonlinear model for classification, in which we model the joint distribution of response variable, y, and covariates, x, non-parametrically using Dirichlet process mixtures. We keep the relationship between y and x linear within each component of the mixture. The overall relationship becomes nonlinear if the mixture contains more than one component. We use simulated data to compare the performance of this new approach to a simple multinomial logit (MNL) model, an MNL model with quadratic terms, and a decision tree model. We also evaluate our approach on a protein fold classification problem, and find that our model provides substantial improvement over previous methods, which were based on Neural Networks (NN) and Support Vector Machines (SVM). Folding classes of protein have a hierarchical structure. We extend our method to classification problems where a class hierarchy is available. We find that using the prior information regarding the hierarchical structure of protein folds can result in higher predictive accuracy.

연구 동기 및 목표

• 공변량과 반응 변수 간의 비선형 관계를 선형성을 가정하지 않고도 유연하게 비모수적으로 모델링할 수 있는 분류 모델을 개발한다.
• 고정된 분포 형태와 선형 관계를 가정하는 파rametric 모델의 한계를 해결한다. 이러한 가정이 위반될 경우 성능이 떨어질 수 있기 때문이다.
• 단백질 접힘 분류와 같이 계층적 구조를 가진 분류 문제에 이를 통합하여, 사전 도메인 지식을 활용해 예측 정확도를 향상시킨다.
• 비라벨 데이터를 활용해 공변량 분포를 모델링하고, 라벨이 있는 데이터는 반응-공변량 의존성에만 사용함으로써 준지도 학습을 가능하게 한다.
• 각 혼합 성분 내에서 선형 관계를 가지며, 의미 있는 데이터 세그먼트를 식별함으로써 결과를 해석 가능하게 한다.

제안 방법

• 응답 변수 $ y $ 와 공변량 $ x $ 의 연합 분포를 다변수 정규 성분의 딜레트 프로세스 혼합으로 모델링하여, 기저 분포를 비모수적으로 추정한다.
• 각 혼합 성분 내에서 $ y $ 와 $ x $ 간의 선형 관계를 가정하므로, 다수의 성분이 동시에 활성화될 경우 전체 모델은 비선형이 된다.
• 혼합 분포 $ G $ 에 대해 딜레트 프로세스 사전분포 $ \mathcal{D}(G_0, \gamma) $ 를 사용하며, $ G_0 $ 는 기저 분포이고 $ \gamma $ 는 성분 수를 조절한다.
• 효율적인 게비스 샘플링을 위해 차이니즈 레스토랑 프로세스(CRP) 표현을 사용하며, 각 성분에 속하는 기존 데이터 포인트 수에 비례한 성분 할당 확률을 사용한다.
• 다양한 데이터 소스에 대해 각각 다른 척도 매개변수 $ \xi $ 를 허용함으로써, 다중 소스 학습에서 다중 유형의 데이터(예: 아미노산 조성, 2차 구조)를 자동으로 가중할 수 있다.
• 잠재 연속 변수 또는 적절한 이산 사전분포(예: 베타, 다항 로짓)를 사용하여 이산형 또는 다항형 공변량을 다룰 수 있도록 모델을 확장한다.

실험 결과

연구 질문

• RQ1 딜레트 프로세스 혼합을 사용하는 비모수 베이지안 모델이 비선형 관계가 있는 분류 과제에서 기존의 선형 및 비선형 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ2 단백질 접힘 분류에 계층적 구조를 통합할 경우, 평탄한 분류 모델에 비해 예측 정확도가 얼마나 향상되는가?
• RQ3 진짜 관계가 선형인 경우, 이 모델이 비선형 모델에서 흔히 발생하는 과적합을 피할 수 있는가?
• RQ4 라벨이 부족한 반면 비라벨 데이터가 풍부한 준지도 학습 환경에서 이 모델의 효과는 어떠한가?
• RQ5 각 성분 내에서 선형 패턴을 가지는 별도의 데이터 세그먼트를 식별함으로써, 모델이 해석 가능한 결과를 제공할 수 있는가?

주요 결과

• 시뮬레이션된 비선형 데이터에서 제안된 모델은 다항 로짓, 이차 로짓, 결정 트리 모델보다 유의미하게 뛰어난 성능을 보이며, 더 높은 유연성과 정확도를 입증한다.
• 실세계 단백질 접힘 분류 문제에서, 이전의 신경망 및 서포트 벡터 기반 모델보다 더 높은 예측 정확도를 달성한다.
• 단백질 접힘의 계층적 구조를 통합함으로써 분류 정확도에 상당한 향상이 있었으며, 사전 도메인 지식의 가치를 입증한다.
• 혼합 성분이 하나뿐일 경우 모델은 선형 모델로 축소되며, 이는 선형 상황에서 과적합을 피할 수 있음을 확인한다.
• 다양한 데이터 소스에 대해 각각 다른 척도 매개변수 $ \xi $ 를 사용함으로써 성능 향상이 이루어졌으며, 특히 아미노산 조성, 2차 구조, 친수성 등의 특징을 통합할 경우 뚜렷한 개선이 있었다.
• 비라벨 데이터를 활용해 공변량 분포를 모델링하고, 라벨이 있는 데이터는 반응 모델링에만 사용함으로써 효과적인 준지도 학습이 가능하다.