[논문 리뷰] Enhancing Feature Selection and Interpretability in AI Regression Tasks Through Feature Attribution

Alexander Hinterleitner, Thomas Bartz–Beielstein외 4명|arXiv (Cornell University)|2024. 09. 25.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 타원기계의 블레이드 진동 예측에서 깊이 신경망 성능과 해석 가능성의 향상을 위해 통합 기울기(IG)를 활용한 특성 기여도 평가와 k-means 군집화를 통합한 새로운 데이터 기반 특성 선택 파이프라인을 제안한다. 이 방법은 잡음이 많은 입력을 걸러내어 모델 정확도와 안정성을 향상시키며, 진동 모드와 드라이브트레인 온도와 같은 핵심 특성이 가장 중요한 예측 변수로 도출된다.

ABSTRACT

Research in Explainable Artificial Intelligence (XAI) is increasing, aiming to make deep learning models more transparent. Most XAI methods focus on justifying the decisions made by Artificial Intelligence (AI) systems in security-relevant applications. However, relatively little attention has been given to using these methods to improve the performance and robustness of deep learning algorithms. Additionally, much of the existing XAI work primarily addresses classification problems. In this study, we investigate the potential of feature attribution methods to filter out uninformative features in input data for regression problems, thereby improving the accuracy and stability of predictions. We introduce a feature selection pipeline that combines Integrated Gradients with k-means clustering to select an optimal set of variables from the initial data space. To validate the effectiveness of this approach, we apply it to a real-world industrial problem - blade vibration analysis in the development process of turbo machinery.

연구 동기 및 목표

• 딥 러닝에서 특히 산업 적용 분야에 특화된 회귀 작업을 위한 효과적인 특성 선택 방법의 부족을 해결하기 위해.
• 해석 가능한 AI(XAI) 기법을 활용해 정보가 없는 또는 잡음이 많은 특성을 걸러내어 모델 성능과 내구성을 향상시키기 위해.
• 특성 기여도 평가와 군집화를 통합하여 임의의 임계값 설정 없이 데이터 기반의 모델 독립적 특성 선택 파이프라인을 개발하기 위해.
• 모델의 일반화 및 안정성 향상에 기여하는 특성 기여도의 활용 가능성을 입증하기 위해.
• 실제 산업 응용 사례인 타원기계 블레이드 진동 예측 문제에 대해 본 방법을 검증하기 위해, 여기서는 정확도와 설명 가능성 모두가 핵심 요소이다.

제안 방법

• 모든 데이터셋에 걸쳐 각 입력 특성의 국소 중요도 점수를 계산하기 위해 기울기 기반의 모델 독립적 특성 기여도 방법인 통합 기울기(IG)를 활용한다.
• 모든 샘플에 걸쳐 IG 기여도 값을 집계하여 글로벌 특성 중요도 순위를 도출함으로써 특성 관련성의 종합적 시각을 확보한다.
• 집계된 기여도 값을 기반으로 k-means 군집화를 적용하여 특성의 중요도 기반으로 그룹화하며, 고·중·저 중요도 특성군을 구분한다.
• 가장 낮은 중요도 군집(시각화에서 보라색 군집으로 표시됨)을 기반으로 특성 제거 기준을 설정하여 임의의 임계값에 의존하지 않고 정보가 없는 입력을 제거한다.
• 신뢰할 수 있는 기여도 평가를 위해, 높은 예측 정확도를 확보하기 위해 서rogate 기반 하이퍼파rameter 최적화를 활용해 딥 네트워크를 훈련하고 튜닝한다.
• 합성 투명 데이터와 타원기계에서 확보한 실제 산업 데이터를 사용하여 제안된 방법을 기준선 특성 선택 기법 및 KernelShap와 비교한다.

실험 결과

연구 질문

• RQ1 통합 기울기와 같은 특성 기여도 방법이 모델 설명을 위한 목적 외에도 회귀 작업에서 특성 선택에 효과적으로 재사용될 수 있는가?
• RQ2 특성 기여도 평가와 군집화를 융합함으로써 고차원 회귀 문제에서 딥 네트워크의 안정성과 성능이 어떻게 향상되는가?
• RQ3 기본 필터 및 워퍼 방법에 비해 제안된 방법이 예측 정확도 및 오차 안정성 측면에서 얼마나 뛰어난가?
• RQ4 타원기계 블레이드 진동 예측에서 가장 영향력 있는 입력 특성들은 무엇이며, 이는 영업 지식과 일치하는가?
• RQ5 최종 모델 예측의 품질이 특성 기여도의 품질에 의존하는가, 그리고 이는 선택 과정의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 잡음이 많거나 정보가 없는 특성을 걸러내어 모델 성능을 크게 향상시키고 예측 오차의 표준편차를 감소시킨다.
• 진동 특성 그룹에서 유래한 '진동 모드'(Oscillation Characteristics) 특성이 가장 중요한 예측 변수로 규명되었으며, 자연 주파수에 대한 엔지니어링 직관과 일치한다.
• 드라이브트레인 온도 측정값(인덱스 80 및 83)이 회전 속도(인덱스 18)보다 더 높은 영향력을 지닌 것으로 나타나, 진동 진폭과의 지연되거나 간접적인 관계를 시사한다.
• 열역학적 변수에서의 질량 유량(인덱스 30), 부피 유량(인덱스 29), 윤활 오일 압력(인덱스 72)도 높은 중요도를 보이며, 이는 시스템 역학에서의 기여를 반영한다.
• '실험 설정' 그룹에서 유래한 변형 게이지 식별자(인덱스 2)가 핵심적인 역할을 하여 측정 설정의 중요성이 예측 정확도에 영향을 준다는 점을 입증한다.
• '품질 기준' 특성(인덱스 12)도 높은 관련성을 보이며, 데이터 품질 지표가 모델 예측에 영향을 미칠 수 있음을 시사한다.