[論文レビュー] Learning Latent Permutations with Gumbel-Sinkhorn Networks

Gonzalo E. Mena, David Belanger+2 more|arXiv (Cornell University)|Feb 23, 2018

Topic Modeling被引用数 93

ひとこと要約

本論文は Sinkhorn ネットワークと Gumbel-Sinkhorn 分布を導入し、潜在的置換を伴うエンドツーエンド学習を可能にする。最大重みマッチングを近似する微分可能な Sinkhorn リラクゼーションを用い、再パラメータ化された勾配を可能にする。

ABSTRACT

Permutations and matchings are core building blocks in a variety of latent variable models, as they allow us to align, canonicalize, and sort data. Learning in such models is difficult, however, because exact marginalization over these combinatorial objects is intractable. In response, this paper introduces a collection of new methods for end-to-end learning in such models that approximate discrete maximum-weight matching using the continuous Sinkhorn operator. Sinkhorn iteration is attractive because it functions as a simple, easy-to-implement analog of the softmax operator. With this, we can define the Gumbel-Sinkhorn method, an extension of the Gumbel-Softmax method (Jang et al. 2016, Maddison2016 et al. 2016) to distributions over latent matchings. We demonstrate the effectiveness of our method by outperforming competitive baselines on a range of qualitatively different tasks: sorting numbers, solving jigsaw puzzles, and identifying neural signals in worms.

研究の動機と目的

• 潜在的なマッチングと置換を持つモデルで、正確な周辺化が困難な場合の学習を動機付ける。
• Sinkhorn 演算子を介した置換選択の微分可能な近似を導入する。
• Gumbel-Softmax の考えを置換に拡張し、Gumbel-Sinkhorn による再パラメータ化可能推論を実現する。
• 再構成タスクのためにソフト/完全マッチングを生成する置換同値性ネットワークを開発する。
• ソーティング、ジグソーパズル、C. elegans におけるニューロン識別などの実証的効果を示す。

提案手法

• 任意の行列を二重確定行列へ写像する Sinkhorn 演算子を、置換行列の微分可能なリラクゼーションとして定義する。
• 非微分可能なマッチング演算子 M(X) が τ → 0 の極限として S(X/τ) から回復できることを証明し、微分可能な近似を可能にする。
• Sinkhorn ネットワークを導入し、最終層が正規化されていない割り当てスコアを持つ行を生成し、S(·/τ) を介してソフトな置換へ変換する。
• Gumbel-Sinkhorn に拡張: P ~ GS(X, τ) を S((X+ε)/τ) として潜在的置換の再パラメータ化可能サンプリングを可能にする。
• 変分推論を GS 分布で適用し、潜在変数モデルにおける置換の事後分布を近似する。
• 並べ替え、ジグソーパズル再構成、C. elegans のニューロン同定を含むタスクでエンドツーエンド学習と再パラメータ化勾配を実証する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド微分可能モデルで潜在的置換をどのように近似・最適化できるか？
• RQ2 Sinkhorn 演算子は置換の softmax の微分可能な類似物として機能し、再パラメータ化ベースの学習を可能にするか？
• RQ3 Gumbel ベースのリラクゼーション（Gumbel-Sinkhorn）は潜在置換構造の変分推論に有効か？
• RQ4 置換同値性アーキテクチャはスクランブルされたオブジェクトの再構成と集合間のマッチング学習に有効か？
• RQ5 潜在的な整列を要求するタスク（ソーティング、ジグソーパズル、C. elegans のニューロン同定）でどのような経験的利得が得られるか？

主な発見

• Sinkhorn 演算子は、温度 τ が小さくなる極限で最大重みマッチングを近似する微分可能なリラクゼーションを提供する。
• Gumbel-Sinkhorn 分布は潜在置換に対する再パラメータ化可能学習を可能にし、勾配ベースの最適化を許す。
• Sinkhorn ネットワークは数の並べ替え、ジグソーパズルの解決、分解された画像の再構成で競争力のある指標を持つ強い性能を達成する。
• C. elegans のニューロン推定において、頻繁に既知ニューロンの割合と難易度を変えた場合でも、変分推定を用いた Gumbel-Sinkhorn が MCMC や他のベースラインより置換識別精度で上回る。
• 置換同値性アーキテクチャを用いると、再構成は断片の並び替えに依存せず、断片だけに依存するようになり、一貫性と学習効率が向上する。
• 先行研究と比較して、Gumbel-Sinkhorn はより厳密なリラクゼーションと有効な潜在置換モデリングを提供し、高密度・高パラメータのネットワークを必要としない。