[논문 리뷰] Feature Selection with Distance Correlation

Ranit Das, Gregor Kasieczka외 1명|arXiv (Cornell University)|2022. 11. 30.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 고에너지 물리학에서 조각 태깅을 위한 가장 정보적인 에너지 흐름 다항식(EFPs)을 식별하기 위해 거리 상관관계(Distance Correlation, DisCo) 기반의 새로운 전진 특성 선택 방법을 소개한다. 7,000개 이상의 후보에서 단지 9개의 EFPs만을 선택하여도, 압축된 DNN를 사용해 상태최근성에 가까운 성능을 달성하며, 기존의 ADO 기반 선택 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Choosing which properties of the data to use as input to multivariate decision algorithms -- a.k.a. feature selection -- is an important step in solving any problem with machine learning. While there is a clear trend towards training sophisticated deep networks on large numbers of relatively unprocessed inputs (so-called automated feature engineering), for many tasks in physics, sets of theoretically well-motivated and well-understood features already exist. Working with such features can bring many benefits, including greater interpretability, reduced training and run time, and enhanced stability and robustness. We develop a new feature selection method based on Distance Correlation (DisCo), and demonstrate its effectiveness on the tasks of boosted top- and $W$-tagging. Using our method to select features from a set of over 7,000 energy flow polynomials, we show that we can match the performance of much deeper architectures, by using only ten features and two orders-of-magnitude fewer model parameters.

연구 동기 및 목표

• 다변량 조각 태깅을 위한 더 효율적이고 효과적인 특성 선택 방법을 개발하는 것.
• 특히 트리거 시스템에서 경량 추론을 위한 조건에서 입력 특성의 수를 줄이면서 분류기 성능 유지를 또는 향상시키는 것.
• 사전에 학습된 기준 모델이 필요 없이 블랙박스 분류기의 아예 학습과 해석을 가능하게 하는 것.
• 기존의 ADO와 같은 전진 특성 선택 기법보다 더 견고한 통계적 종속성 측정 방법을 사용하여 향상된 성능를 달성하는 것.

제안 방법

• 후보 특성과 타겟 레이블(신호 대 배경) 간의 통계적 종속성을 측정하기 위해 거리 상관관계(DisCo)를 점수 함수로 사용한다.
• 전진 선택 전략을 적용: 타겟에 대해 가장 높은 DisCo 점수를 가진 EFP를 반복적으로 선택하고, 선택된 집합에 조건부로 나머지 특성들을 재평가한다.
• 비모수적이고 애핀 불변성 있는 종속성 측정 방법을 사용하여 선형뿐 아니라 비선형 관계도 포착하며, 피어슨 상관계수와는 다르다.
• 단순한 딥 네URAL 네트워크(DNN)를 상위 순위의 EFPs만으로 학습시켜 빠른 추론과 낮은 모델 복잡도를 달성한다.
• 두 가지 운영 모드를 지원한다: (1) 진짜 레이블을 사용한 아예 학습, (2) 사전에 학습된 블랙박스 분류기의 해석.
• 표준 조각 태깅 벤치마크를 사용해 성능를 검증한다: 압축된 탑 쿼크 및 W 보손 조각, 시뮬레이션된 조각 이벤트에서 유도된 EFPs를 사용한다.

실험 결과

연구 질문

• RQ1 거리 상관관계 기반 특성 선택이 기존의 ADO와 같은 방법보다 조각 태깅을 위한 가장 정보적인 EFPs를 식별하는 데서 뛰어난 성능를 보일 수 있는가?
• RQ2 DisCo를 통해 선택된 소량의 EFPs가 전체 특성 집합으로 학습된 딥 러닝 모델의 성능을 어느 정도 재현할 수 있는가?
• RQ3 사전에 학습된 참조 분류기 없이도 진짜 레이블에서 직접 학습할 경우 DisCo 기반 방법이 높은 성능를 유지할 수 있는가?
• RQ4 상태최근성 아키텍처와 비교해 볼 때, 선택된 특성 집합은 모델 효율성, 파라미터 수, 추론 속도 측면에서 어떻게 비교되는가?

주요 결과

• DisCo 기반 방법은 7,000개 이상의 후보에서 단지 9개의 EFPs만을 선택하여, 탑 쿼크 태깅에서 상태최근성에 가까운 성능를 달성하며, ParticleNet-Lite의 기각 능력과 동일한 성능를 보였다.
• 선택된 9개의 EFPs만으로 학습된 압축된 DNN는 ParticleNet-Lite보다 파라미터 수를 두 배수 정도 줄여 더 빠른 추론과 낮은 학습 비용을 제공한다.
• 이 방법은 탑 태깅과 W 태깅 작업 모두에서 [30]의 ADO 기반 특성 선택 방법보다 뛰어난 성능를 보였으며, 더 적은 특성으로도 더 좋은 성능를 달성했다.
• DisCo 방법은 진짜 레이블에서 직접 학습할 경우에도 뛰어난 성능를 유지하지만, ADO 방법은 이러한 조건에서 성능가 급격히 떨어진다.
• 선택된 EFPs는 매우 정보량이 많고, 조각 구조의 복잡한 비선형 상관관계를 포착하며, 분류에 핵심적인 역할을 한다.
• 이러한 접근은 이론적으로 유도된 특성의 소량이지만 철저히 선택된 집합이 방대하고 처리되지 않은 입력으로 학습된 딥 러닝 모델과 맞먹을 수 있음을 보여준다.