[논문 리뷰] Differentiable Knapsack and Top-k Operators via Dynamic Programming

Germain Vivier--Ardisson, Michael E. Sander외 2명|arXiv (Cornell University)|2026. 01. 29.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 Knapsack과 Top-k 연산을 동적 프로그래밍으로 캐스팅하고 재귀를 매끄럽게 하여 신경망에서 결정적 및 확률적 계층을 가능하게 하는 차별화 가능한 통합 프레임워크를 제시한다. 또한 순열-등가성(permutation-equivariance)과 희소성을 보장하는 정규화 항을 특징짓고, 의사결정 중심 학습, 제약된 동적 어소트 RL, 이산 VAE에서의 응용을 시연한다.

ABSTRACT

Knapsack and Top-k operators are useful for selecting discrete subsets of variables. However, their integration into neural networks is challenging as they are piecewise constant, yielding gradients that are zero almost everywhere. In this paper, we propose a unified framework casting these operators as dynamic programs, and derive differentiable relaxations by smoothing the underlying recursions. On the algorithmic side, we develop efficient parallel algorithms supporting both deterministic and stochastic forward passes, and vector-Jacobian products for the backward pass. On the theoretical side, we prove that Shannon entropy is the unique regularization choice yielding permutation-equivariant operators, and characterize regularizers inducing sparse selections. Finally, on the experimental side, we demonstrate our framework on a decision-focused learning benchmark, a constrained dynamic assortment RL problem, and an extension of discrete VAEs.

연구 동기 및 목표

• Knapsack과 Top-k를 동적 프로그래밍으로 재구성하고 max 재귀를 매끄럽게 하여 차별화 가능한 이완을 도출한다.
• 전방 및 역방 전달을 위한 효율적 병렬 알고리즘을 개발하고 벡터-야코비(Jacobian) 곱을 가능하게 한다.
• 순열-등가 연산자와 선택의 희소성을 보장하는 정규화 항을 특징화한다.
• 엔드-투-엔드 학습을 위한 확률적 전진 및 Fenchel-Young 손실을 제공한다.
• 프레임워크를 의사결정 중심 학습, 제약된 동적 어소트 RL, 이산 VAE에 적용해 시연한다.

제안 방법

• max를 max_Ω로 대체하여 DP 벨먼 재귀를 정규화하고 차별화 가능한 이완을 얻는다.
• smoothed DP 값과 그 기울기를 정의하여 conv(Y^C_w)에서 차별화 가능한 연산자를 생성한다.
• 순서-등가성(permutation-equivariance)와 희소성 특성을 확립하고, 등가성을 얻는 유일한 정규화 항으로 Shannon 엔트로피를 식별한다.
• 결정론적 및 확률적 적분을 위한 전진/역전 algorithms(Algorithms 1-4)을 제공하고, VJP 및 샘플링 스킴을 포함한다.
• 연산자들을 Fenchel-Young 손실과 연결하여 principled한 지도 학습을 가능하게 한다.
• 웨이브프런트 병렬성 및 NumPy/Numba 구현을 통한 효율성을 시연한다.

Figure 1: Illustration of our relaxed Top- $k$ and Knapsack operators. We plot the sum of the first two coordinates of the relaxed operator for ${\bm{\theta}}=(\theta_{1},\theta_{2},\frac{1}{2},1)^{\top}$ . In the first row, we use $\bm{y}^{k}_{\bm{1},\Omega}$ with $k=2$ and ${\bm{w}}=\bm{1}$ . In t

실험 결과

연구 질문

• RQ1 Knapsack과 Top-k를 차별화 가능한 완화로 재구성하는 DP 문제로 재정의할 수 있는가?
• RQ2 순열-등가성을 보장하고 언제 선택이 희소해지는지 어떤 정규화가 필요한가?
• RQ3 이 차등화 가능한 연산자들을 결정론적 및 확률적 전진을 모두 갖춘 엔드-투-엔드 학습에 어떻게 통합할 수 있는가?
• RQ4 제안된 연산자들이 baselines에 비해 의사결정 중심 학습, 동적 어소트 RL, DVAE 작업에서 성능을 향상시키는가?

주요 결과

• DP 최대 재귀를 정규화 Ω로 매끄럽게 하여 차별화 가능한 Knapsack 및 Top-k 연산자를 도출한다.
• Shannon 엔트로피는 차분한 연산자에서 순열-등가를 보장하는 유일한 분리 가능한 정규화이며, 희소성은 다른 정규화 항으로 유도될 수 있다.
• 효율적인 벡터-야코비 프로덕트와 조상 샘플링 기반의 확률적 전진으로 엔드-투-엔드 학습을 가능하게 한다.
• 프레임워크는 결정론적 계층과 Fenchel-Young 손실을 이용한 확률적 전진을 모두 지원한다.
• 실험은 DP 기반 손실이 의사결정 중심 학습, 동적 어소트 RL, 이산 VAE 작업에서 기저 모델보다 우수한 성능을 보임을 시사한다.
• 이 접근법은 pi^{w,C}_{θ,Ω} 분포에서 샘플링을 가능하게 하며 과도한 해석기 호출 없이도 전진/역전이 가능하다.

Figure 2: Scaling and performance of $\bm{y}^{C}_{\bm{w},\Omega}$ as an output layer. Lower computational time and test relative regret are better.