[논문 리뷰] Consistent Feature Selection for Analytic Deep Neural Networks

Vu Dinh, Lam Si Tung Ho|arXiv (Cornell University)|2020. 10. 16.

Statistical Methods and Inference참고 문헌 39인용 수 6

한 줄 요약

이 논문은 기반 추정기로 그룹 라소를 사용하면서 적응형 그룹 라소를 적용하여 분석적 딥 네ural 네트워크에서 특성 선택의 일관성을 확립한다. 피드포워드, 컨볼루션, 리소스 네트워크를 포함한 광범위한 네트워크 클래스에 대해 이 방법이 관련 특성을 일관되게 식별함을 증명하며, 해석 가능한 딥 러닝을 위한 이론적 근거를 제공하고, 표준 그룹 라소보다 적응형 그룹 라소의 더 나은 일관성 특성으로 인해 그 사용을 권장한다.

ABSTRACT

One of the most important steps toward interpretability and explainability of neural network models is feature selection, which aims to identify the subset of relevant features. Theoretical results in the field have mostly focused on the prediction aspect of the problem with virtually no work on feature selection consistency for deep neural networks due to the model's severe nonlinearity and unidentifiability. This lack of theoretical foundation casts doubt on the applicability of deep learning to contexts where correct interpretations of the features play a central role. In this work, we investigate the problem of feature selection for analytic deep networks. We prove that for a wide class of networks, including deep feed-forward neural networks, convolutional neural networks, and a major sub-class of residual neural networks, the Adaptive Group Lasso selection procedure with Group Lasso as the base estimator is selection-consistent. The work provides further evidence that Group Lasso might be inefficient for feature selection with neural networks and advocates the use of Adaptive Group Lasso over the popular Group Lasso.

연구 동기 및 목표

• 딥 네럴 네트워크의 비선형성과 식별 불가능성으로 인해 특성 선택에 대한 이론적 기초가 부족한 데 대비하기 위해.
• 피드포워드, 컨볼루션, 리소스 네트워크를 포함한 광범위한 분석적 딥 네트워크 클래스에 대해 선택 일관성을 확립하기 위해.
• 딥 네트워크에서 특성 선택에 있어 그룹 라소가 일관성이 없음을 입증하고, 표준 그룹 라소보다 우월한 대안으로 적응형 그룹 라소를 권장하기 위해.
• 네트워크 크기나 데이터 생성 모델에 대한 제한적인 가정이 없는 최소한의 검증 가능한 프레임워크를 개발하기 위해.
• 의료 및 공공 정책과 같은 고위험 분야에서 해석 가능한 딥 러닝을 위한 이론적 지원을 확장하기 위해.

제안 방법

• 분석적 활성화 함수와 선형 입력 상호작용을 갖는 일반적인 분석적 딥 네럴 네트워크의 클래스를 수학적으로 정의한다.
• 입력 특성의 그룹별 희박성 유도를 위해 기반 추정기로 그룹 라소를 사용한다.
• 초기 추정치에 기반해 특성 그룹에 다른 가중치를 할당하는 적응형 그룹 라소 페널티를 적용하여 선택 일관성을 향상시킨다.
• 고정된 네트워크 아키텍처 하에서 표본 크기가 증가함에 따라 점점 더 정확해지는 渐近적 분석 기반의 이론적 프레임워크를 사용한다.
• 검증 가능성과 일반성을 확보하기 위해 분석성, 유계 파rameter 공간, 최소한의 정규성 조건 등의 가정에 의존한다.
• 이전 연구에서 볼 수 있었던 검증 불가능한 가정을 피하기 위해 레마 3.2를 활용하여 이론 분석의 강건성을 높인다.

실험 결과

연구 질문

• RQ1 실제 가정 조건 하에서 딥 네럴 네트워크의 특성 선택이 이론적으로 타당한가?
• RQ2 그룹 라소는 딥 네트워크에서 선택 일관성이 있는가, 아니면 비효율성과 일관성 부족으로 인해 문제가 있는가?
• RQ3 딥 러닝 환경에서 표준 그룹 라소에 비해 적응형 그룹 라소 절차가 선택 일관성을 향상시키는가?
• RQ4 컨볼루션 및 리소스 아키텍처를 포함한 광범위한 딥 네트워크 클래스에 대해 선택 일관성이 확립될 수 있는가?
• RQ5 특히 네트워크 크기가 데이터 생성 모델과 정확히 일치하지 않을 경우, 이론적 결과는 어떤가?

주요 결과

• 기반 추정기로 그룹 라소를 사용하는 적응형 그룹 라소는 피드포워드, 컨볼루션, 그리고 리소스 네트워크의 주요 부분집합을 포함한 광범위한 분석적 딥 네럴 네트워크 클래스에 대해 선택 일관성을 보장한다.
• 이론적 분석 결과, 표준 그룹 라소는 딥 네트워크에서 특성 선택에 대해 일관성이 없으며, 특히 특성 그룹에 적응적으로 가중치를 할당하지 못하는 데 기인한다.
• 프레임워크는 훈련 네트워크가 데이터 생성 네트워크의 크기와 정확히 일치할 필요가 없음을 보여주며, 이는 이전 연구에서 흔히 볼 수 있었던 제한적인 가정을 완화한다.
• 최적점에서 헤시안의 정규성 같은 검증 불가능한 가정을 피함으로써 결과의 적용 가능성과 일반화 능력을 향상시킨다.
• 이 결과는 딥 러닝에서 특성 선택 일관성에 대한 첫 이론적 기초를 제공하며, 고위험 분야에서 해석 가능한 응용에 활용될 수 있음을 뒷받침한다.
• 결과적으로, 개선된 일관성과 신뢰성으로 인해 딥 러닝 특성 선택에서 표준 그룹 라소보다 적응형 그룹 라소의 사용을 권장한다.