[논문 리뷰] Deep Lattice Networks and Partial Monotonic Functions

Seungil You, Xin Ding외 3명|arXiv (Cornell University)|2017. 09. 19.

Neural Networks and Applications참고 문헌 13인용 수 56

한 줄 요약

이 논문은 분류 및 회귀 작업에서 강력한 성능을 달성하기 위해 monotonicity 제약으로 end-to-end 학습되며, linear embedding, calibrator, 그리고 lattice 앙상블을 쌓아 사용자 선택 입력 부분에 대해 단조성을 유지하도록 하는 Deep Lattice Networks (DLNs)을 제시한다.

ABSTRACT

We propose learning deep models that are monotonic with respect to a user-specified set of inputs by alternating layers of linear embeddings, ensembles of lattices, and calibrators (piecewise linear functions), with appropriate constraints for monotonicity, and jointly training the resulting network. We implement the layers and projections with new computational graph nodes in TensorFlow and use the ADAM optimizer and batched stochastic gradients. Experiments on benchmark and real-world datasets show that six-layer monotonic deep lattice networks achieve state-of-the art performance for classification and regression with monotonicity guarantees.

연구 동기 및 목표

• 입력 부분 집합에 대해 단조성 보장을 갖는 유연한 부분 단조 함수 학습을 목표로 한다.
• 세 가지 계층 유형을 결합한 딥 아키텍처를 제안하여 엔드-투-엔드 단조 동작을 가능하게 한다.
• 제약 조건이 있는 판별 학습과 확장 가능한 학습을 위한 TensorFlow 구현을 가능하게 한다.
• DLN 함수 클래스의 이론적 특성과 보편성 측면을 탐구한다.

제안 방법

• 세 계층 DLN 구성요소: 단조성 제약이 있는 선형 임베딩, 1D 보정기(calibrators) (부분선형), 다차원 격자( lattice) 앙상블.
• 각 그래디언트 스텝 후 매개변수에 대한 선형 부등식 프로젝션을 통해 단조성 제약을 강제한다.
• 격자는 다중선형(multilinear) 또는 심플렉스 보간된 룩업 테이블이며; 보정기는 단일 입력을 [0,1]로 매핑하고 단조 키포인트 제약을 갖는다.
• 입력이 단조로운 경우 계층 간에 단조성을 전파하여 엔드-투-엔드 단조성을 보존한다.
• 학습은 배치된 확률적 그래디언트가 있는 Adam을 사용; 프로젝션(등가적으로 등온회귀 isotonic regression)이 제약을 강제하며; 격자는 O(S 2^S) 제약을 ADMM 유사 방법으로 해결한다.
• 초기화 전략은 최적화를 용이하게 하고 단조성을 존중하도록 매개변수에 편향을 준다.

실험 결과

연구 질문

• RQ1 심층적 스택의 보정기, 선형 임베딩, 및 lattice 앙상블이 선택된 입력에 대해 보장된 단조성을 갖는 유연한 부분 단조 함수를 학습할 수 있는가?
• RQ2 이 계층들의 조합이 이전의 단조 모델(예: calibrators-then-lattices)과 실세계 데이터셋에서의 정확도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 다층 선형(multilinear) 대 simplicial 보간에서의 DLN의 이론적 특성(보편성/표현력)은 어떠한가?
• RQ4 보정 및 임베딩 선택이 엔드투엔드 단조성 및 모델 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• DLN은 분류 및 회귀 벤치마크에서 단조성 작업에 대해 경쟁력 있는 또는 최상위 성능을 달성한다.
• User Intent 사례 연구에서 최상의 DLN 아키텍처(Cal-Lin-Cal-EnsLat-Cal-Lin)가 27,903 매개변수로 검증 정확도 74.39% 및 테스트 정확도 72.48%에 도달한다.
• Adult 벤치마크에서 Cal-Lin-Cal-EnsLat-Cal-Lin 구성을 가진 DLN은 검증 정확도 86.50% 및 테스트 정확도 86.08%(40,549 매개변수)를 달성한다.
• Rater Score 회귀 작업에서 DLN은 검증 MSE 1.2078 및 테스트 MSE 1.2096(81,601 매개변수)를 달성한다.
• 크리스털(crystals) 및 min-max 네트워크와 비교하여 DLN은 단조성 제약을 유지하면서 우수하거나 경쟁력 있는 성능을 보인다.
• 이 아키텍처는 엔드 투 엔드 부분 단조성을 지원하며 입력이 단조로 제약될 때 구성된 계층을 통해 단조성을 보존한다.