[논문 리뷰] Return of the features. Efficient feature selection and interpretation for photometric redshifts

Antonio D’Isanto, S. Cavuoti외 2명|arXiv (Cornell University)|2018. 03. 27.

Remote Sensing in Agriculture참고 문헌 49인용 수 3

한 줄 요약

이 논문은 퀘이사의 광학적 적색편이 추정을 위한 높은 성능을 보이며 물리적으로 해석 가능한 특징을 식별하기 위해 전진 특징 선택 방법을 제안한다. SDSS 데이터에서 유도한 4,520개의 합성 특징을 생성하고 k-NN 및 랜덤 포레스트 모델을 사용함으로써, 기존의 광학적 특징보다 뛰어난 성능을 보이며 놀라운 특징 조합을 발견하였다. 이는 적색편이 범위 전반에서 보다 향상된 성능을 제공하며, 상보적인 특징 분포 덕분에 보다 우수한 정확도 향상을 이룬다.

ABSTRACT

The explosion of data in recent years has generated an increasing need for new analysis techniques in order to extract knowledge from massive datasets. Machine learning has proved particularly useful to perform this task. Fully automatized methods have recently gathered great popularity, even though those methods often lack physical interpretability. In contrast, feature based approaches can provide both well-performing models and understandable causalities with respect to the correlations found between features and physical processes. Efficient feature selection is an essential tool to boost the performance of machine learning models. In this work, we propose a forward selection method in order to compute, evaluate, and characterize better performing features for regression and classification problems. Given the importance of photometric redshift estimation, we adopt it as our case study. We synthetically created 4,520 features by combining magnitudes, errors, radii, and ellipticities of quasars, taken from the SDSS. We apply a forward selection process, a recursive method in which a huge number of feature sets is tested through a kNN algorithm, leading to a tree of feature sets. The branches of the tree are then used to perform experiments with the random forest, in order to validate the best set with an alternative model. We demonstrate that the sets of features determined with our approach improve the performances of the regression models significantly when compared to the performance of the classic features from the literature. The found features are unexpected and surprising, being very different from the classic features. Therefore, a method to interpret some of the found features in a physical context is presented. The methodology described here is very general and can be used to improve the performance of machine learning models for any regression or classification task.

연구 동기 및 목표

• 빅 천문학 데이터 시대에서 광학적 적색편이 추정 정확도 향상 문제를 해결한다.
• 딥 러닝 모델의 블랙박스 성향을 극복하기 위해 물리적으로 해석 가능한 특징 기반 기계학습 접근법을 개발한다.
• 기존 광학적 특징보다 뛰어난 성능을 보이며 비직관적인 특징 조합을 식별하고 검증한다.
• 다양한 모델 아키텍처 간에 특징 선택 방법론의 안정성과 일반화 능력을 입증한다.
• 쿼라의 적색편이 및 내재적 성질과 관련된 특징 중요도의 물리적 해석을 향상시킨다.

제안 방법

• SDSS 퀘이사 데이터의 magnitude, 오차, 반경, 타원도를 조합하여 4,520개의 합성 특징을 생성한다.
• k-Nearest-Neighbours (k-NN) 회귀를 사용하여 반복적으로 특징 하위집합을 구축하고 평가하는 전진 선택 알고리즘을 적용한다.
• 각 분지가 후보 특징 집합을 나타내는 k-NN 평가 과정에서 특징 트리를 구성한다.
• 안정성과 일반화 능력을 보장하기 위해 랜덤 포레스트 회귀를 사용해 최고 성능 특징 집합을 검증한다.
• 중요도 분석 및 적색편이에 따른 특징 평가를 통해 선택된 특징의 물리적 관련성을 해석한다.
• 선택된 특징의 성능 및 분포를 적색편이 구간에 따라 고전적 10개 광학적 특징과 비교한다.

실험 결과

연구 질문

• RQ1 체계적이고 전진적인 특징 선택 방법이 고전적 광학적 특징보다 뚜렷하게 뛰어난 성능을 보이는 특징 조합을 식별할 수 있는가?
• RQ2 새로 발견된 특징의 구조와 분포로부터 어떤 물리적 통찰을 도출할 수 있는가?
• RQ3 선택된 특징들이 다양한 모델 아키텍처와 적색편이 범위에서 얼마나 안정적이고 일반화 가능한가?
• RQ4 선택된 특징들이 적색편이 분포 전반에서 어떻게 상보적인 물리적 정보를 포괄하는가?
• RQ5 딥 러닝 모델이 종종 달성하지 못하는 바탕으로, 제안된 방법이 높은 성능과 물리적 해석 가능성 사이의 균형을 어떻게 유지할 수 있는가?

주요 결과

• 제안된 특징 선택 방법은 고전적 10개 특징에 비해 광학적 적색편이 회귀 성능을 뚜렷이 향상시키며, 모든 적색편이 범위에서 뛰어난 정확도를 보인다.
• 선택된 특징들은 매우 비직관적이며 고전적 특징과 구조적으로 다름을 보이며, 새로운 고신호 조합의 발견을 시사한다.
• 최고 성능 특징 집합은 여러 실행에 걸쳐 안정적이며, 일관된 분포 패턴과 모델 성능의 최소한의 변동을 보인다.
• 선택된 특징들은 적색편이 공간을 상보적으로 메우며, 각각 다른 적색편이 영역에서 고유한 정보를 기여한다.
• 특징 중요도 분석 결과, 새로운 특징들은 고전적 특징보다 더 효과적으로 잠재적인 물리적 과정을 포착하며, 고전적 특징은 정보를 효율적으로 집약하지 못한다.
• 이 방법의 성능 우월성은 개별 특징 때문이 아니라, 선택된 집합 내에서의 상호 작용과 분포의 공통적 특성에 기인한다.