[논문 리뷰] Monotonic Trends in Deep Neural Networks

Akhil Gupta, Naman Shukla외 2명|arXiv (Cornell University)|2019. 09. 24.

Machine Learning and Data Classification참고 문헌 13인용 수 5

한 줄 요약

이 논문은 아키텍처 변경 없이 딥 네URAL 네트워크에서 국소적 단조성을 강제하기 위해 기울기 기반의 포인트와이즈 손실 함수를 제안한다. 학습 중 비단조성 기울기를 보상함으로써, 최신 레이티스 네트워크와 비교해 경쟁적인 AUC 및 단조성 성능를 달성하면서도 더 스무스하고 개인화된 추세 학습을 가능하게 하며 딥 네트워크의 유연성을 유지한다.

ABSTRACT

The importance of domain knowledge in enhancing model performance and making reliable predictions in the real-world is unparalleled. We focus on incorporating monotonic trends (increase in input implies increase/decrease in output), and propose a novel gradient-based point-wise loss function for enforcing partial monotonicity with deep neural networks. While recent developments have focused on structural changes to the model, our approach aims at enhancing the learning process. Our point-wise loss function acts as a plug-in to the standard loss and penalizes non-monotonic gradients. We demonstrate that the point-wise loss produces comparable (and sometimes better) results with respect to both AUC and monotonicity metric, compared to state-of-the-art deep lattice networks that enforce monotonicity. Moreover, it is able to learn customized individual trends and produces smoother conditional curves - important for personalized decisions, while preserving the flexibility of deep networks.

연구 동기 및 목표

• 실제 신뢰성 향상을 위해 딥 러닝 모델에 입력 증가 시 출력 증가 또는 감소를 유도하는 단조적 추세를 통합하는 데 도전하는 것.
• 아키텍처 수정 없이 학습 시간에 국소적 단조성을 강제하는 방법을 개발하는 것.
• 모델의 유연성을 유지하면서 개인화된 의사결정을 위한 스무스한 조건부 곡선을 제공하는 것.
• AUC 및 단조성 메트릭에서 최신의 딥 레이티스 네트워크를 능가하거나 동등하게 성능을 내는 것.

제안 방법

• 학습 과정에서 비단조성 기울기를 보상하는 새로운 포인트와이즈 손실 함수를 제안한다.
• 표준 학습 목표에 플러그인 방식으로 통합하여 아키텍처 수정 없이 적용 가능하다.
• 입력-출력 단조성 제약 조건에 기반해 각 학습 샘플에 대한 기울기 기반 보상 계산을 수행한다.
• 역전파 과정에서 이 손실을 적용하여 학습된 표현에서 비단조성 행동을 억제한다.
• 각 특성 또는 각 샘플에 대한 단조성 제약 조건을 허용함으로써 개인화된 단조성 추세를 지원한다.
• 단조성 강제와 함께 딥 네트워크의 표현 능력을 유지하면서 해석 가능성과 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 시간 손실 함수가 아키텍처 변경 없이 딥 네URAL 네트워크에서 국소적 단조성을 효과적으로 강제할 수 있는가?
• RQ2 제안된 방법은 AUC 및 단조성 메트릭 측면에서 최신의 딥 레이티스 네트워크와 비교해 어떻게 성능을 내는가?
• RQ3 이 방법은 개인화된 예측을 위한 맞춤형이고 스무스한 조건부 추세를 학습할 수 있는가?
• RQ4 이 방법은 단조성 행동을 향상시키면서도 딥 네트워크의 유연성을 유지하는가?

주요 결과

• 제안된 방법은 최신의 딥 레이티스 네트워크와 비교해 유사하거나 더 높은 AUC 성능를 달성한다.
• 단조성 메트릭에서 레이티스 네트워크를 능가하거나 동등하게 성능을 내어 사용자가 지정한 추세에 더 강하게 부합함을 시사한다.
• 이 방법은 성공적으로 개인화된 개별 추세를 학습하여 개인화된 의사결정을 가능하게 한다.
• 기준 모델보다 더 스무스한 조건부 곡선을 생성하여 해석 가능성과 신뢰성을 향상시킨다.
• 단조성 제약 조건을 강제함과 동시에 딥 네트워크의 전체 유연성을 유지한다.
• 손실의 플러그인 구조 덕분에 기존 학습 파ip라인에 아키텍처 재설계 없이 쉽게 통합할 수 있다.