[논문 리뷰] Bayesian Classification and Regression with High Dimensional Features

Longhai Li|ArXiv.org|2007. 09. 18.

Bayesian Methods and Mixture Models참고 문헌 43인용 수 3

한 줄 요약

이 논문은 고차원 회귀 및 분류에서 발생하는 두 가지 핵심 과제인 특성 조합 선택에서 비롯된 선택 편향과 고차 상호작용으로 인한 매개변수 수의 지수적 증가로 인한 계산 비가능성 문제를 해결하기 위해 베이지안 방법을 제안한다. 특성 선택 편향을 보정하는 베이지안 보정 기법과 동일한 상호작용 패턴을 가진 항목을 그룹화하여 매개변수를 압축하는 기법을 도입함으로써, 효율적인 MCMC 추론이 가능해지고 학습 시간이 크게 단축되면서도 시뮬레이션된 유전자 발현 데이터 및 텍스트 데이터에서 예측 성능을 유지한다.

ABSTRACT

This thesis responds to the challenges of using a large number, such as thousands, of features in regression and classification problems. There are two situations where such high dimensional features arise. One is when high dimensional measurements are available, for example, gene expression data produced by microarray techniques. For computational or other reasons, people may select only a small subset of features when modelling such data, by looking at how relevant the features are to predicting the response, based on some measure such as correlation with the response in the training data. Although it is used very commonly, this procedure will make the response appear more predictable than it actually is. In Chapter 2, we propose a Bayesian method to avoid this selection bias, with application to naive Bayes models and mixture models. High dimensional features also arise when we consider high-order interactions. The number of parameters will increase exponentially with the order considered. In Chapter 3, we propose a method for compressing a group of parameters into a single one, by exploiting the fact that many predictor variables derived from high-order interactions have the same values for all the training cases. The number of compressed parameters may have converged before considering the highest possible order. We apply this compression method to logistic sequence prediction models and logistic classification models. We use both simulated data and real data to test our methods in both chapters.

연구 동기 및 목표

• 응답 변수와의 상관관계에 기반해 특성이 선택되는 고차원 특성 선택에서 발생하는 잘 알려진 선택 편향 문제를 해결하기 위해.
• 선택과 관련된 매개변수를 통합하고 조정 요인을 계산하여 나이브 베이즈 및 혼합 모델에서 이러한 편향을 보정하는 베이지안 프레임워크를 개발하기 위해.
• 특히 로지스틱 모델에서 매개변수 수가 기하급수적으로 증가하는 고차 상호작용을 모델링하는 데 있어 계산 비가능성 문제를 해결하기 위해.
• 모든 학습 케이스에서 동일한 예측자 값 조합을 가진 상호작용 항목을 하나의 압축된 매개변수로 통합함으로써 모델 복잡도를 감소시키는 매개변수 압축 기법을 도입하기 위해.
• 최고의 상호작용 순서에 도달하기 전에도 압축된 매개변수의 수가 수렴함을 보여주어 고차 모델링이 계산적으로 가능해짐을 입증하기 위해.

제안 방법

• 선택 지표와 반응 상관관계 매개변수를 통합하여 나이브 베이즈 및 혼합 모델에서 선택 편향을 보정하는 베이지안 조정 요인을 제안한다.
• 수치적 적분과 MCMC를 사용하여 특성 선택의 불확실성을 고려한 예측 분포를 계산함으로써, 선택된 특성에 과적합되는 것을 방지한다.
• 모든 학습 케이스에서 동일한 상호작용 패턴을 가진 모든 회귀 계수를 하나의 매개변수로 집계하는 매개변수 압축 기법을 도입한다.
• 예측 시 압축된 매개변수에서 원래의 매개변수를 복원하기 위한 분할 절차를 사용하여 모델의 해석 가능성과 정확성을 보장한다.
• 압축 기법을 베이지안 로지스틱 시퀀스 예측 및 분류 모델에 적용하며, 희박하고 꼬리가 두꺼운 계수 분포를 더 잘 반영하기 위해 무거운 꼬리의 캐시 prior를 사용한다.
• 압축된 매개변수를 사용한 MCMC 샘플링을 통해 모델을 효율적으로 학습시켜 학습 시간을 크게 단축시키면서도 예측 성능를 유지한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 반응 변수와의 상관관계에 기반해 특성을 선택할 때 발생하는 낙관적 편향을 베이지안 모델이 어떻게 보정할 수 있는가?
• RQ2 고차 상호작용을 포함한 모델에서 예측 정확도를 훼손하지 않고도 매개변수 수를 줄일 수 있는 압축 기법이 가능한가?
• RQ3 최고의 상호작용 순서에 도달하기 전에도 압축된 매개변수의 수가 수렴하는가? 이는 고차 모델링이 계산적으로 가능하게 하는가?
• RQ4 희박하고 꼬리가 두꺼운 계수 분포를 모델링할 때 캐시 prior는 가우시안 prior보다 더 나은 성능을 보이는가?
• RQ5 실제 유전자 발현 및 텍스트 시퀀스와 같은 실세계 데이터에서 제안된 압축 기법이 학습 효율성과 예측 성능를 얼마나 향상시키는가?

주요 결과

• 제안된 베이지안 보정 요인이 선택 편향을 성공적으로 보정하여, 특히 소수의 특성만 선택된 경우 시뮬레이션 및 실세계 데이터에서 기대 오차율이 실제 오차율과 일치함을 확인하였다.
• 결장암 유전자 발현 데이터에서, 표준 선택 방법에서 관찰되는 낙관적 성능 향상 없이도 다양한 선택된 특성 수에서 안정적인 성능 유지를 보였다.
• 상호작용 순서가 높아지기 전에도 압축된 매개변수의 수가 조기에 수렴함을 확인하여 모델 복잡도와 학습 시간이 크게 감소하였다.
• 압축된 매개변수를 사용할 경우 학습 시간이 극적으로 단축됨을 확인: 그림 3.18의 왼쪽 아래 그림에서 압축 모델이 압축되지 않은 모델보다 훨씬 빠른 학습 속도를 보였다.
• 예측 시간 역시 단축됨을 확인: 그림 3.18의 오른쪽 아래 그림에서 압축 모델이 더 빠른 추론 성능를 보였다.
• 희박한 계수 구조를 반영하는 데 캐시 prior가 가우시안 prior보다 우수한 성능를 보였으며, 캐시 분포를 가진 데이터 실험에서 더 나은 예측 성능와 더 정확한 사후 분포를 확보하였다.