[논문 리뷰] A New Heuristic for Feature Selection by Consistent Biclustering

Antonio Mucherino, Sonia Cafieri|arXiv (Cornell University)|2010. 03. 17.

Rough Sets and Fuzzy Logic참고 문헌 12인용 수 3

한 줄 요약

이 논문은 해시계열 이분할링을 통한 특징 선택을 위한 새로운 이중수준 최적화 휴리스틱을 제안하며, NP-난이도 0–1 선형 분수 문제를 재구성하여 해의 품질을 향상시킨다. 이 방법은 백혈병 및 합성 데이터셋에서 분류 오차를 유지하면서 더 많은 특징을 선택함으로써 이전 휴리스틱을 능가하며, 검증 데이터에서 오직 2건의 오분류로 최대 7,081개의 특징을 선택하는 데 성공한다.

ABSTRACT

Given a set of data, biclustering aims at finding simultaneous partitions in biclusters of its samples and of the features which are used for representing the samples. Consistent biclusterings allow to obtain correct classifications of the samples from the known classification of the features, and vice versa, and they are very useful for performing supervised classifications. The problem of finding consistent biclusterings can be seen as a feature selection problem, where the features that are not relevant for classification purposes are removed from the set of data, while the total number of features is maximized in order to preserve information. This feature selection problem can be formulated as a linear fractional 0-1 optimization problem. We propose a reformulation of this problem as a bilevel optimization problem, and we present a heuristic algorithm for an efficient solution of the reformulated problem. Computational experiments show that the presented algorithm is able to find better solutions with respect to the ones obtained by employing previously presented heuristic algorithms.

연구 동기 및 목표

• 일치하는 이분할링에서 불필요한 특징이 분류 정확도를 떨어뜨리는 NP-난이도 특징 선택 문제를 해결하기 위해.
• 기존 0–1 선형 분수 최적화 문제를 이중수준 프로그램으로 재구성하여 보다 효과적인 휴리스틱 해법 전략을 가능하게 하기 위해.
• 분류 정확도를 유지하면서 선택된 특징의 수를 최대화하고, 샘플 및 특징 클러스터링 간의 일致성을 확보하기 위해.
• 특히 급성 백혈병 데이터셋을 포함한 실제 유전자 발현 데이터에 대해 제안된 휴리스틱을 검증하고, 별도의 검증 세트를 통해 성능을 평가하기 위해.

제안 방법

• 원래의 0–1 선형 분수 특징 선택 문제를 이중수준 최적화 문제로 재구성하며, 내부 수준에선 선형 프로그램을 사용한다.
• 외부 수준의 휴리스틱 반복 과정에서 각 단계마다 내부 문제의 연속적 리프래스팅을 정확하게 해결하기 위해 결정론적 알고리즘을 적용한다.
• 일致성 제약 조건 하에서 목적 함수를 향상시키는 특징을 반복적으로 선택하는 그릿지 전략을 적용한다.
• 두 가지 유형의 이완된 일치성, 즉 α-일치 및 β-일치 이분할링을 도입하여 특징 수와 분류 정확도 사이의 트레이드오프를 허용한다.
• 검증 세트를 사용하여 분류 성능을 평가하고, 미리 보지 않은 샘플에 대한 오분류 수를 측정한다.
• α 및 β 파라미터를 조정하여 특징 선택의 크기와 분류 품질 사이의 균형을 이루는 휴리스틱을 구현한다.

실험 결과

연구 질문

• RQ1 기존 휴리스틱과 비교해 이중수준 최적화 재구성 전략이 일치하는 이분할링에서 특징 선택의 품질을 향상시키는가?
• RQ2 실제 백혈병 유전자 발현 데이터에서 제안된 휴리스틱은 특징 수와 분류 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 α 및 β 파라미터를 다양하게 조정했을 때 검증 세트에서 선택된 특징 수와 오분류 수에 어떤 영향을 미치는가?
• RQ4 선택된 관련 특징의 수를 최대화하는 동안 샘플 및 특징 클러스터링 간의 일치성을 유지하는가?
• RQ5 결정론적 방법이 비가능한 대규모 데이터 세트를 효율적으로 처리할 수 있는가?

주요 결과

• α = 0 또는 β = 1.00일 때, 백혈병 검증 세트에서 오직 2건의 오분류로 7,081개의 특징을 선택했으며, 이는 이전 휴리스틱이 7,024개의 특징을 선택하고 동일한 오류율을 기록한 것보다 뛰어난 성능을 보였다.
• α ≥ 50일 경우 검증 세트에서 오직 한 건의 오분류만 기록하여 노이즈에 대한 강건성이 향상됨을 입증했다.
• 대부분의 α 및 β 값에서 이전 휴리스틱보다 더 많은 특징을 일관되게 선택했으며, α = 70일 경우 7,046개의 특징을 선택한 반면 이전 방법은 6,989개를 선택했다.
• 선택된 특징 수는 α 또는 β 값이 증가함에 따라 감소했으며, 이는 일치성 강도와 특징 수 사이의 트레이드오프를 반영한다.
• 계산 비용은 α 또는 β 값이 높아질수록 증가했으며, 일부 실험에선 수 분의 CPU 시간이 소요되어 높은 일치성 임계값에서의 확장성 문제를 시사한다.
• 합성 데이터에서는 α-일치 조건 하에서 7,500개 특징 중 7,450개의 특징을 성공적으로 식별하여 이상적인 조건에서 높은 특징 유지율을 보였다.