[論文レビュー] Differentiable Knapsack and Top-k Operators via Dynamic Programming

Germain Vivier--Ardisson, Michael E. Sander+2 more|arXiv (Cornell University)|Jan 29, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

要約: 本論文は、KnapsackとTop-k演算子を動的計画法として捉え、再帰を平滑化することで微分可能な統一フレームワークを提案し、決定層と確率層の両方をニューラルネットワークに組み込めるようにする。さらに、置換同変性と疎性を保証する正則化項を特徴づけ、意思決定重視の学習、制約付き動的アソートメント強化学習、離散VAEへの適用をデモンストレーションする。

ABSTRACT

Knapsack and Top-k operators are useful for selecting discrete subsets of variables. However, their integration into neural networks is challenging as they are piecewise constant, yielding gradients that are zero almost everywhere. In this paper, we propose a unified framework casting these operators as dynamic programs, and derive differentiable relaxations by smoothing the underlying recursions. On the algorithmic side, we develop efficient parallel algorithms supporting both deterministic and stochastic forward passes, and vector-Jacobian products for the backward pass. On the theoretical side, we prove that Shannon entropy is the unique regularization choice yielding permutation-equivariant operators, and characterize regularizers inducing sparse selections. Finally, on the experimental side, we demonstrate our framework on a decision-focused learning benchmark, a constrained dynamic assortment RL problem, and an extension of discrete VAEs.

研究の動機と目的

• KnapsackとTop-kを動的計画法として再構成し、最大値再帰を平滑化することによって微分可能な緩和を導出する。
• 前向き・後向きの効率的な並列アルゴリズムを開発し、ベクトル-ヤコビアン積を可能にする。
• 置換同変演算子と選択の疎性を生み出す正則化項を特徴づけ、エンベロープのシャノンエントロピーを等変性を生む唯一の正則化項として同定する。
• エンドツーエンド学習のための確率的な前向き伝播とフェンchel-ヤング損失を提供する。
• 意思決定重視の学習、制約付き動的アソートメント強化学習、離散VAEタスクでフレームワークをデモンストレーションする。

提案手法

• 最大演算子を differentiable relaxations に導くために DP ベルマン再帰を max_Ω に置換して正則化する。
• 平滑化した DP 値とその勾配を定義して、conv(Y^C_w) における微分可能な演算子を生み出す。
• 置換同変性と疎性の性質を確立し、エquivariance を生み出す唯一の分離可能正則化がシャノンエントロピーであることを同定する。
• 決定論的および確率的統合のための前向き・後向きアルゴリズム（アルゴリズム1-4）、VJPとサンプリング方式を含む。
• 演算子をフェンchel-ヤング損失と結びつけ、理論的な教師付き学習を実現する。
• Wavefront並列性と NumPy/Numba 実装による効率性を示す。

Figure 1: Illustration of our relaxed Top- $k$ and Knapsack operators. We plot the sum of the first two coordinates of the relaxed operator for ${\bm{\theta}}=(\theta_{1},\theta_{2},\frac{1}{2},1)^{\top}$ . In the first row, we use $\bm{y}^{k}_{\bm{1},\Omega}$ with $k=2$ and ${\bm{w}}=\bm{1}$ . In t

実験結果

リサーチクエスチョン

• RQ1 KnapsackとTop-kを微分可能な緩和を伴う DP 問題として再構成できるか。
• RQ2 どの正則化が置換同変性を課し、いつ疎な選択が得られるか。
• RQ3 これらの微分可能な演算子を、決定論的および確率的前向き伝播の両方を組み込んだエンドツーエンド学習に統合できるか。
• RQ4 提案する演算子は、基準法と比較して意思決定重視の学習、動的アソートメント強化学習、およびDVAEタスクで改善をもたらすか。

主な発見

• DPの最大再帰を正則化項Ωで平滑化することにより、微分可能な Knapsack および Top-k 演算子を導出した。
• シャノンエントロピーは疎性を含む置換同変性を与える唯一の分離可能正則化であり、他の正則化項で疎性を誘導できる場合がある。
• 効率的なベクトル-ヤコビアン積と祖先サンプリングベースの確率的前向き伝播によりエンドツーエンド学習を可能にする。
• フレームワークは決定論的レイヤと確率的前向き伝播の両方をサポートし、監視にはフェンchel-ヤング損失を使用する。
• DPベースの損失が意思決定重視の学習、動的アソートメント強化学習、離散VAEタスクでベースラインより優れていることを実験で示した。
• 本手法は基礎分布π^{w,C}_{θ,Ω}からのサンプリングを可能にし、過度なソルバー呼び出しを伴わずに前向き/後向き伝播を実現できる。

Figure 2: Scaling and performance of $\bm{y}^{C}_{\bm{w},\Omega}$ as an output layer. Lower computational time and test relative regret are better.