[論文レビュー] SoftSort: A Continuous Relaxation for the argsort Operator

Sebastian Prillo, Julian Martin Eisenschlos|arXiv (Cornell University)|Jun 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 6

ひとこと要約

この論文は、深層学習における微分可能ソーティングを可能にする、argsort演算子のシンプルで効率的な連続的リラクゼーションであるSoftSortを紹介する。各順序付き要素への負のL1距離のソフトマックスを計算することで、SoftSortは最先端の性能を達成し、NeuralSortのような先行手法よりも高速であり、数学的解析が簡素化されつつも強力な最適化特性を維持する。

ABSTRACT

While sorting is an important procedure in computer science, the argsort operator - which takes as input a vector and returns its sorting permutation - has a discrete image and thus zero gradients almost everywhere. This prohibits end-to-end, gradient-based learning of models that rely on the argsort operator. A natural way to overcome this problem is to replace the argsort operator with a continuous relaxation. Recent work has shown a number of ways to do this, but the relaxations proposed so far are computationally complex. In this work we propose a simple continuous relaxation for the argsort operator which has the following qualities: it can be implemented in three lines of code, achieves state-of-the-art performance, is easy to reason about mathematically - substantially simplifying proofs - and is faster than competing approaches. We open source the code to reproduce all of the experiments and results.

研究の動機と目的

• 微分可能モデルにおけるエンドツーエンド学習を妨げるargsort演算子のゼロ勾配問題に対処すること。
• 計算的に効率的で実装が容易なargsortの連続的リラクゼーションを構築すること。
• NeuralSortのような先行手法と比較して、微分可能ソーティングに関する数学的推論を大幅に簡素化すること。
• 計算負荷の低減を図りながら、既存手法と同等またはそれ以上の性能を達成すること。

提案手法

• SoftSortは、各要素と入力ベクトル内のr番目に大きな値との間の負のL1距離について、行方向のソフトマックスを計算することで、ソフトソーティング順列を算出する。
• 温度ハイパーパrameter τ を用いてリラクゼーションの鋭さを制御し、τ → 0 の極限で真のargsortに収束する。
• コアな演算は、SoftSort^d_τ(s) = softmax( -d(sort(s)1^T, 1s^T) / τ ) で定義され、dは半距離関数（例：|x−y|）である。
• PyTorch や TensorFlow などの標準的な自動微分フレームワークを活用しており、深層学習パイプラインへのシームレスな統合を可能にする。
• SoftSortは行スタジオスティックであり、各行のargmaxをとることで有効な置換行列に射影可能で、解釈可能性を保つ。
• この手法はモジュール型かつ拡張可能であり、異なる距離関数dを用いても理論的保証を維持できる。

実験結果

リサーチクエスチョン

• RQ1 シンプルで効率的でありながら、高い性能を維持するargsortの連続的リラクゼーションを設計可能か？
• RQ2 SoftSortは、NeuralSortのような既存の微分可能ソーティング手法と比較して、速度および最適化効率において優れているか？
• RQ3 新しいリラクゼーションアプローチにより、微分可能ソーティングの数学的解析を著しく簡素化できるか？
• RQ4 SoftSortは、再順序付けや順位付けタスクを含む多様なベンチマークでどのように性能を発揮するか？
• RQ5 異なる距離関数dが、SoftSortの収束性および性能に与える影響は何か？

主な発見

• SoftSortは、再順序付けやマッチングを含む複数のベンチマークで最先端の性能を達成し、NeuralSortと同等またはわずかに上回る。
• CPUおよびGPUの両方で、入力サイズがn=4000までに達する範囲で、SoftSortはNeuralSort実装の約6倍高速である。
• 最適化済みNeuralSortバージョンと比較して、CPUでは80%、GPUでは40%高速である。
• d=|·| を用いたSoftSortとNeuralSortの学習曲線はほぼ同一であり、最適化ダイナミクスが同等であることが示唆される。
• 合成ソーティングタスクにおいて、d=|·| では d=|·|² よりも収束が遅い傾向にあり、距離関数の選択に感度があることが示唆される。
• 最悪の入力順序に対しても顕著な遅延は観察されず、入力をシャッフルすることでさらなる性能劣化のリスクを軽減できる。