[논문 리뷰] How to Incorporate Monotonicity in Deep Networks While Preserving Flexibility?

Akhil Gupta, Naman Shukla외 3명|arXiv (Cornell University)|2019. 09. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 27

한 줄 요약

이 논문은 모델에 종속되지 않고 기울기를 기반으로 하는 포인트와이즈 손실(PWL) 함수를 제안한다. 이는 훈련 중 비단조화성 기울기를 벌점함으로써 딥 네ural 네트워크에서 국소 단조성을 강제한다. 구조적 접근 방식인 딥 레이티스 네트워크(DLN)와 달리, PWL은 표준 DNN의 유연성을 유지하면서 AUC 및 단조성 메트릭에서 유사하거나 더 뛰어난 성능을 달성하여 아키텍처 변경 없이도 더 부드럽고 개인화된 예측 곡선을 가능하게 한다.

ABSTRACT

The importance of domain knowledge in enhancing model performance and making reliable predictions in the real-world is critical. This has led to an increased focus on specific model properties for interpretability. We focus on incorporating monotonic trends, and propose a novel gradient-based point-wise loss function for enforcing partial monotonicity with deep neural networks. While recent developments have relied on structural changes to the model, our approach aims at enhancing the learning process. Our model-agnostic point-wise loss function acts as a plug-in to the standard loss and penalizes non-monotonic gradients. We demonstrate that the point-wise loss produces comparable (and sometimes better) results on both AUC and monotonicity measure, as opposed to state-of-the-art deep lattice networks that guarantee monotonicity. Moreover, it is able to learn differentiated individual trends and produces smoother conditional curves which are important for personalized decisions, while preserving the flexibility of deep networks.

연구 동기 및 목표

• 모델 아키텍처를 변경하지 않고 도메인 지식인 단조성을 딥 네럴 네트워크에 통합하기 위해.
• 금융 및 가격 설정과 같은 실세계 응용 분야에서 모델의 유연성과 해석 가능성 사이의 상충 관계를 해결하기 위해.
• 각 개별 데이터 포인트별로 다른 단조성 경향을 학습함으로써 개인화된 의사결정을 가능하게 하기 위해.
• 딥 러닝에서 부드러운 단조성 제약을 위한 확장 가능하고 투명하며 구성 가능한 방법을 제공하기 위해.
• 기계학습 기반의 단조성 강제가 실무에서 딥 레이티스 네트워크와 같은 고정된 아키텍처 의존 방법보다 더 우수할 수 있음을 입증하기 위해.

제안 방법

• 지정된 입력 특성 방향으로 비단조화성 기울기를 벌점하는 포인트와이즈 손실(PWL) 함수를 제안한다.
• 손실은 역전파 중에 적용되며 표준 경험 리스크 손실과 함께 작용하는 부드러운 제약 조건으로 기능한다.
• 유한 차분 근사치를 사용하여 기울기의 비단조화성 행동을 탐지하고 이를 벌점한다.
• 손실 함수는 경험 리스크 최소화와 단조성 강제 사이의 균형을 조절할 수 있는 하이퍼파라미터를 통해 구성 가능하다.
• 이 방법은 모델에 종속되지 않으며 기존의 어떤 딥 네럴 네트워크에도 아키텍처 수정 없이 통합할 수 있다.
• 이 방법은 각 데이터 포인트를 통해 개별화된 단조성 경향을 학습함으로써 조건부 반응 곡선을 더 부드럽게 만들 수 있다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크에서 모델 아키텍처를 변경하지 않고도 단조성을 효과적으로 강제할 수 있는가?
• RQ2 기울기를 기반으로 하는 포인트와이즈 손실은 딥 레이티스 네트워크와 같은 구조적 접근 방식과 비교해 단조성 및 예측 성능 측면에서 어떻게 다른가?
• RQ3 학습 가능한 손실을 통한 부드러운 단조성 강제는 딥 네트워크의 유연성과 개인화 능력을 유지하는가?
• RQ4 제안된 방법은 각 데이터 포인트별로 다른 단조성 경향을 학습할 수 있는가? 이는 실세계 응용 분야에서 더 나은 개인화를 가능하게 하는가?
• RQ5 고차원의 실세계 데이터셋에서 단조성 강제와 모델 일반화 사이의 상충 관계는 어떠한가?

주요 결과

• UCI Adult 데이터셋에서 PWL은 AUC 0.908과 단조성 메트릭 0.856을 기록했으며, 다소 낮은 AUC와 단조성 점수에도 불구하고 DLN보다 개인화된 경향 차별화에서 뛰어난 성능을 보였다.
• 항공사 애드온 데이터셋에서 PWL은 AUC 0.722와 단조성 메트릭 0.985를 기록했으며, AUC 측면에서 DLN을 초월했고 높은 단조성 점수를 유지했다.
• PWL은 연속적인 도함수를 가지는 더 부드러운 조건부 곡선을 생성하여 DLN의 단계적이고 조각별 선형 예측보다 더 나은 개인화를 가능하게 했다.
• 항공사 애드온 데이터셋에서 PWL은 훈련 시간이 1.375×10³초로 DLN의 7.770×10³초보다 크게 빠르게 나타났다.
• PWL은 데이터 내 비단조화 신호를 탐지했으며(예: 교육 수준과 소득 간 상관계수 0.33), DLN는 이러한 신호를 고정된 구조적 제약로 인해 간과했다.
• 결과적으로, PWL을 통한 부드러운 단조성 강제 방식은 딱딱한 구조적 제약보다 도메인 지식과 데이터 기반 학습 간의 균형을 더 잘 달성할 수 있음을 시사한다.