[논문 리뷰] DNN2LR: Interpretation-inspired Feature Crossing for Real-world Tabular Data

Zhaocheng Liu, Qiang Liu외 2명|arXiv (Cornell University)|2020. 08. 22.

Video Analysis and Summarization참고 문헌 67인용 수 4

한 줄 요약

DNN2LR는 깊이 있는 신경망(DNN) 내 해석 불일치를 활용하여 전역적으로 해석 가능한 교차 특징을 자동으로 생성하는 새로운 방법을 제안한다. DNN의 은닉층 상호작용으로 인해 발생하는 국소적 해석 불일치를 갖는 특징을 식별함으로써, 간결한 후보 교차 특징 집합을 구성함으로써 단순한 로지스틱 회귀(LR) 모델이 복잡한 DNN 및 최신 기법보다 높은 효율성으로 실제 표본 데이터셋에서 더 뛰어난 성능을 내도록 한다.

ABSTRACT

For sake of reliability, it is necessary for models in real-world applications to be both powerful and globally interpretable. Simple classifiers, e.g., Logistic Regression (LR), are globally interpretable, but not powerful enough to model complex nonlinear interactions among features in tabular data. Meanwhile, Deep Neural Networks (DNNs) have shown great effectiveness for modeling tabular data, but is not globally interpretable. In this work, we find local piece-wise interpretations in DNN of a specific feature are usually inconsistent in different samples, which is caused by feature interactions in the hidden layers. Accordingly, we can design an automatic feature crossing method to find feature interactions in DNN, and use them as cross features in LR. We give definition of the interpretation inconsistency in DNN, based on which a novel feature crossing method called DNN2LR is proposed. Extensive experiments have been conducted on four public datasets and two real-world datasets. The final model, i.e., a LR model empowered with cross features, generated by DNN2LR can outperform the complex DNN model, as well as several state-of-the-art feature crossing methods. The experimental results strongly verify the effectiveness and efficiency of DNN2LR, especially on real-world datasets with large numbers of feature fields.

연구 동기 및 목표

• 실제 표본 데이터 응용에서 모델 성능와 전역적 해석 가능성 사이의 상충 관계를 해결하기 위해.
• 수동 특징 공학 없이도 복잡한 비선형 특징 상호작용을 포착할 수 있도록 로지스틱 회귀(LR)의 한계를 극복하기 위해.
• 해석 가능성은 유지하면서 DNN 수준의 성능를 달성하는 효율적이고 자동화된 특징 교차 방법을 개발하기 위해.
• DNN 내 해석 불일치를 신호로 삼아 의미 있는 특징 상호작용을 식별하고 활용하기 위해.
• 효율적이고 효과적인 모델 훈련을 가능하게 하는 간결하고 고품질의 교차 특징 후보 집합을 생성하기 위해.

제안 방법

• 특징 간 은닉층 상호작용으로 인해 다양한 입력 샘플 간에 국소적 기울기 기반 해석이 변동하는 현상인 DNN 내 해석 불일치를 정의한다.
• 복잡한 특징 상호작용을 학습하기 위해 전체 훈련 세트로 DNN을 훈련하고 기울기 기반 중요도 맵을 통해 국소적 해석을 추출한다.
• 각 검증 샘플에 대해, 기울기의 분산을 사용하여 각 특징의 해석 불일치 점수를 계산한다.
• 높은 불일치(분위수 기준 임계값 η 초과)를 갖는 특징을 걸러내어 특징 교차 후보로 식별한다.
• 필터링된 특징들로부터 두 번째 이상의 순서 교차 특징 필드로 구성된 전역 후보 집합을 구성하며, 효율성을 확보하기 위해 ε = 3N 또는 5N로 제한한다.
• 후보 집합에 대해 로지스틱 회귀 모델을 훈련하고 검증 세트에서 기여도를 기반으로 교차 특징을 순위 매겨 최종 유용한 교차 특징 집합을 선정한다.

실험 결과

연구 질문

• RQ1 DNN 내 해석 불일치는 의미 있는 특징 상호작용을 식별하기 위한 신뢰할 수 있는 신호로 활용될 수 있는가?
• RQ2 실제 데이터셋에서 최신 기법인 AutoCross 및 AutoFM과 비교해 DNN2LR의 성능 및 효율성은 어떠한가?
• RQ3 분위수 기준 임계값 η 및 후보 집합 크기 ε와 같은 하이퍼파rameter가 DNN2LR의 성능 및 안정성에 미치는 영향은 무엇인가?
• RQ4 DNN2LR가 생성한 교차 특징을 갖춘 단순한 LR 모델이 정확도 및 일반화 능력 측면에서 복잡한 DNN 모델을 능가할 수 있는가?
• RQ5 특히 실제 응용에서 대규모 특징 필드를 가진 데이터셋에서 DNN2LR의 확장성은 어떠한가?

주요 결과

• DNN2LR가 생성한 교차 특징을 통해 단순한 로지스틱 회귀 모델이 네 개의 공개 데이터셋과 두 개의 실제 데이터셋에서 모두 복잡한 DNN 모델을 능가하며, 일반화 능력과 성능 면에서 뛰어난 성능을 보였다.
• 특징 필드 수가 많은 실제 데이터셋에서는 AutoCross 및 AutoFM 대비 DNN2LR가 실행 시간을 6배에서 50배까지 단축시켰다. 이는 높은 효율성을 입증한다.
• 다양한 하이퍼파rameter 설정에서도 안정적인 성능를 기록했으며, 특히 η = 5% 및 ε = 3N(또는 작은 데이터셋의 경우 5N)에서 높은 안정성과 낮은 민감도를 보여, 강건성을 입증했다.
• 최종 모델은 전체 조합 공간에 비해 극적으로 작고, 3N에서 5N의 후보 교차 특징만을 사용함으로써 효율성과 확장성을 입증했다.
• 이차 교차 특징이 고차 교차 특징보다 더 흔하지만, 고차 특징 역시 성능 향상에 기여함을 보여, 상호작용 중요도의 계층적 구조가 존재함을 시사한다.
• 9개의 특징만을 가진 Employee 데이터셋에서 DNN2LR는 ε = 5N 설정에서 상대적 성능 향상을 보였으며, 이는 저차원 환경에서도 적응 가능함을 보여준다.