[論文レビュー] Stochastic Optimization of Sorting Networks via Continuous Relaxations

Aditya Grover, Eric Wang+2 more|arXiv (Cornell University)|Mar 21, 2019

Stochastic Gradient Optimization Techniques参考文献 35被引用数 36

ひとこと要約

本論文は NeuralSort を導入し、ソーティングの微分可能な連続緩和を提供してエンドツーエンドの勾配最適化を可能にし、Permutation に対する Plackett-Luce 分布の再パラメトライズド勾配推定量を提示します。

ABSTRACT

Sorting input objects is an important step in many machine learning pipelines. However, the sorting operator is non-differentiable with respect to its inputs, which prohibits end-to-end gradient-based optimization. In this work, we propose NeuralSort, a general-purpose continuous relaxation of the output of the sorting operator from permutation matrices to the set of unimodal row-stochastic matrices, where every row sums to one and has a distinct arg max. This relaxation permits straight-through optimization of any computational graph involve a sorting operation. Further, we use this relaxation to enable gradient-based stochastic optimization over the combinatorially large space of permutations by deriving a reparameterized gradient estimator for the Plackett-Luce family of distributions over permutations. We demonstrate the usefulness of our framework on three tasks that require learning semantic orderings of high-dimensional objects, including a fully differentiable, parameterized extension of the k-nearest neighbors algorithm.

研究の動機と目的

• ソーティングを、ソーティングが微分不可能なニューラルパイプラインにおいて微分可能な操作として動機づける。
• NeuralSort を提案して、ソーティングを温度パラメータ接触により一様モーダル行 stochastic 行列へと緩和する。
• 勾配ベースの確率的最適化を permutation 上で再パラメトライズド PL サンプリングアプローチを使用して可能にする。
• 推定ラベルからの画像のソーティング、分位点回帰、微分可能な kNN などの高次元意味序列タスクへの適用性を示す。

提案手法

• Permutation 行列から一様モーダル行 stochastic 行列への緩和として NeuralSort を定義する。
• argmax の softmax ベースの緩和を用いて、温度パラメータ tau を持つ微分可能なソーティング代替を得る。
• 緩和がモーダルであり、tau -> 0+ のとき mild assumptions の下で置換行列へ収束することを証明する。
• Gumbel の摂動を介した再パラメトライズ可能な Plackett-Luce 分布のサンプラーを導出し、微分可能なソーティング代替として NeuralSort を勾配推定に用いる。
• 分布上の順列を含む目的関数の確率的計算グラフを開発し、REINFORCE と再パラメトライズド勾配推定量を提供する。
• NeuralSort を用いた end-to-end 微分可能な kNN 及びその他の意味序列タスクを実証する。

実験結果

リサーチクエスチョン

• RQ1 ソーティング演算子の微分可能な緩和は、ソーティングに依存するパイプラインでエンドツーエンドの勾配ベースの最適化を可能にするか。
• RQ2 Plackett-Luce 分布を介して permutation を最適化する際、勾配をどのように効率的に推定できるか。
• RQ3 NeuralSort およびその確率的変種は高次元入力の意味序序タスクの学習を改善するか。
• RQ4 NeuralSort に置換することで、微分可能な kNN をエンドツーエンドで訓練できるか。
• RQ5 温度パラメータを変化させたときの NeuralSort の収束特性は何か。

主な発見

• NeuralSort は微分可能なソーティングの代替を生み出し、それはモーダルな行 stochastic であり、温度 tau が 0 に近づくと真の置換へ収束する。
• 緩和された演算はストレートスルー勾配推定を可能にし、置換行列への効率的な射影をサポートする。
• Gumbel 摂動を用いた Plackett-Luce 分布の再パラメトライズド勾配推定量を導出し、NeuralSort の代替を介して勾配を伝搬させる。
• 実証的結果は NeuralSort ベースの手法が、高次元オブジェクトのソーティング、分位点回帰、微分可能な kNN などのタスクでベースライン（例：Sinkhorn、Gumbel-Sinkhorn、 vanilla RS）を上回ることを示す。
• Stochastic NeuralSort と Deterministic NeuralSort は、ソーティングの精度と回帰指標の複数のシーケンスサイズで高い性能を示す。
• このフレームワークは NeuralSort によって候補隣人をランキングすることで kNN のエンドツーエンド微分可能な学習を可能にする。