[논문 리뷰] Using Feature Weights to Improve Performance of Neural Networks

Ridwan Al Iqbal|arXiv (Cornell University)|2011. 01. 25.

Neural Networks and Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 피처와 타깃 간 상관관계를 측정한 특성 중요도를 피드포워드 신경망 학습 과정에 직접 통합하는 Correlation Aided Neural Networks (CANN)를 제안한다. 타깃과의 상관관계에 따라 피처를 가중치 부여함으로써 CANN는 기존의 피처 선택 후 훈련이라는 두 단계 방법에 비해 수렴 속도를 빠르게 하고 정확도를 향상시킨다.

ABSTRACT

Different features have different relevance to a particular learning problem. Some features are less relevant; while some very important. Instead of selecting the most relevant features using feature selection, an algorithm can be given this knowledge of feature importance based on expert opinion or prior learning. Learning can be faster and more accurate if learners take feature importance into account. Correlation aided Neural Networks (CANN) is presented which is such an algorithm. CANN treats feature importance as the correlation coefficient between the target attribute and the features. CANN modifies normal feed-forward Neural Network to fit both correlation values and training data. Empirical evaluation shows that CANN is faster and more accurate than applying the two step approach of feature selection and then using normal learning algorithms.

연구 동기 및 목표

• 모든 피처를 동일하게 취급하는 표준 신경망의 비효율성을 해결하기 위해.
• 피처 중요도의 사전 지식을 훈련 과정에 통합함으로써 학습 속도와 정확도를 향상시키기 위해.
• 피처 선택 단계를 별도로 수행할 필요 없이 피처 가중치를 신경망 아키텍처에 직접 통합함으로써.
• 상관관계를 통한 피처 가중치 통합이 기존의 훈련 및 피처 선택 파이프라인에 비해 성능을 향상시키는지 평가하기 위해.

제안 방법

• CANN는 각 피처와 타깃 변수 간 상관관계 계수로부터 유도된 피처 가중치를 도입함으로써 표준 피드포워드 신경망을 수정한다.
• 상관관계 계수는 각 입력 피처와 타깃 속성 간의 선형 상관관계로 계산되며, 이는 피처 중요도의 척도로 기능한다.
• 역전파 과정 동안, 표준 가중치와 함께 피처 가중치도 갱신되며, 이는 타깃과의 상관관계에 따라 조정된다.
• 손실 함수는 피처의 가중합을 포함하도록 수정되며, 여기서 가중치는 상관관계 값이 되어 학습 중 더 중요한 피처를 강조한다.
• 명시적 피처 선택을 피하기 위해 상관관계를 연속적인 관련성 척도로 사용함으로써, 네트워크는 모든 피처로부터 학습하면서 중요도가 높은 피처를 우선순위로 삼는다.
• 실증적 평가에서는 CANN를 두 단계 방법(피처 선택 → 표준 훈련)과 비교하여 실세계 데이터셋을 사용해 성능과 수렴 속도를 측정한다.

실험 결과

연구 질문

• RQ1 상관관계를 통한 피처 중요도 통합이 신경망의 수렴 속도를 향상시킬 수 있는가?
• RQ2 상관관계 기반 피처 가중치를 사용할 경우, 모든 피처를 사용한 표준 훈련에 비해 정확도가 높아지는가?
• RQ3 CANN의 성능은 피처 선택 후 표준 신경망으로 훈련하는 두 단계 방법과 비교해 어떻게 되는가?
• RQ4 상관관계에서 유도된 연속적인 피처 가중치가 이진 피처 선택에 비해 모델 일반화 성능을 더 잘 향상시키는가?
• RQ5 신경망 훈련 과정에 피처 가중치를 통합하는 것이 단지 네트워크가 피처 중요도를 학습하도록 맡기는 것보다 더 효과적인가?

주요 결과

• CANN는 표준 신경망과 두 단계 피처 선택 방법에 비해 훈련 중 더 빠른 수렴을 달성했다.
• 상관관계 기반 피처 가중치를 사용할 경우 테스트 데이터에서 더 높은 정확도를 보였으며, 이는 일반화 성능 향상을 시사한다.
• 상관관계를 통한 피처 가중치 통합으로 인해 명시적 피처 선택의 필요성이 감소하여 학습 파이프라인의 단순화가 이뤄졌다.
• 실증 결과에 따르면, CANN는 여러 데이터셋에서 두 단계 방법에 비해 훈련 속도와 최종 모델 정확도 측면에서 모두 뛰어난 성능을 보였다.
• 이진 피처 선택에 비해 상관관계를 연속적인 중요도 척도로 사용함으로써 더 세밀하고 효과적인 가중치 부여 방식을 제공했다.
• 잡음이 많거나 관련성이 없는 피처가 존재하는 상황에서도 CANN는 높은 성능를 유지하여 피처 중복성에 대한 강건성을 보였다.