[논문 리뷰] Discovering Support and Affiliated Features from Very High Dimensions

Yiteng Zhai, Mingkui Tan외 2명|arXiv (Cornell University)|2012. 06. 27.

Image Retrieval and Classification Techniques참고 문헌 19인용 수 27

한 줄 요약

이 논문은 상관관계 제약 조건을 갖는 컷팅 플레인 최적화 전략을 사용하여 매우 고차원 데이터에서 최적의 상관관계가 없는 지지 특징과 그에 연관된 상관관계가 있는 특징을 식별하는 새로운 임bedded 특징 선택 방법을 제안한다. 이 방법은 추가적인 계산 비용 없이 분류 성능 향상과 해석 가능성 향상을 위해 분류에 유용한 특징과 그에 연관된 상관관계 그룹을 동시에 탐색한다.

ABSTRACT

In this paper, a novel learning paradigm is presented to automatically identify groups of informative and correlated features from very high dimensions. Specifically, we explicitly incorporate correlation measures as constraints and then propose an efficient embedded feature selection method using recently developed cutting plane strategy. The benefits of the proposed algorithm are two-folds. First, it can identify the optimal discriminative and uncorrelated feature subset to the output labels, denoted here as Support Features, which brings about significant improvements in prediction performance over other state of the art feature selection methods considered in the paper. Second, during the learning process, the underlying group structures of correlated features associated with each support feature, denoted as Affiliated Features, can also be discovered without any additional cost. These affiliated features serve to improve the interpretations on the learning tasks. Extensive empirical studies on both synthetic and very high dimensional real-world datasets verify the validity and efficiency of the proposed method.

연구 동기 및 목표

• 매우 고차원 데이터셋에서 정보가 풍부하고 상관관계가 없는 특징을 식별하는 데 도전하는 데 목적을 두며.
• 각 지지 특징과 관련된 상관관계 특징의 잠재적 그룹 구조를 자동으로 탐지하는 데 목적을 두며.
• 최적의 분류 특징 부분집합을 선택하여 예측 성능을 향상시키는 데 목적을 두며.
• 각 지지 특징과 연결된 관련 특징을 식별하여 모델의 해석 가능성을 향상시키는 데 목적을 두며.
• 추가 비용 없이 효율적인 임bedded 특징 선택 방법을 개발하는 데 목적을 두며.

제안 방법

• 특징 선택을 명시적인 상관관계 제약 조건을 포함한 혼합정수최적화 문제로 공식화한다.
• 최근 개발된 컷팅 플레인 전략을 활용하여 비볼록이고 조합 최적화 문제를 효율적으로 해결한다.
• 특징 간 상관관계 측정치를 제약 조건으로 통합하여 상관관계가 없는 지지 특징의 선택을 유도한다.
• 최적화 과정 동안 지지 특징과 그에 연관된 상관관계 특징을 동시에 식별한다.
• 이 방법의 임베디드 성격 덕분에 특징 선택과 그룹 탐색이 하나의 학습 과정에서 동시에 이루어진다.
• 최적화 프레임워크는 매우 고차원 데이터셋에서의 확장 가능한 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 환경에서 예측 성능을 최대화하는 최소의 상관관계가 없는 특징 부분집합을 식별할 수 있는가?
• RQ2 추가적인 계산 오버헤드 없이 각 지지 특징과 관련된 상관관계 특징 그룹을 탐지할 수 있는가?
• RQ3 상관관계 제약 조건의 통합이 특징 선택의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 특징 그룹 구조를 드러내어 얼마나 해석 가능성을 향상시키는가?
• RQ5 현실 세계의 고차원 데이터셋에서 최신 기술 대비 이 방법의 확장성과 성능은 어떠한가?

주요 결과

• 제안된 방법은 합성 및 현실 세계 데이터셋에서 최신 기술 대비 예측 성능 향상이 뚜렷하게 이루어졌다.
• 알고리즘은 상관관계가 없고 매우 분류에 유용한 지지 특징을 성공적으로 식별하여 더 나은 일반화 성능를 달성했다.
• 지지 특징과 연결된 관련 특징(각 지지 특징과 관련된 상관관계 특징)은 자동으로 탐지되었으며, 이는 모델의 해석 가능성 향상에 기여했다.
• 광범위한 실증 연구를 통해 매우 고차원 데이터에서 높은 효율성과 확장성을 입증하였다.
• 실제 세계 데이터셋에 대한 실증 결과는 이 방법이 실용적인 머신러닝 응용 분야에서 타당성과 강건성을 확인시켰다.
• 상관관계 제약 조건의 통합은 상관관계를 忽시하는 방법에 비해 더 안정적이고 의미 있는 특징 부분집합을 도출함을 보여주었다.