[논문 리뷰] Learning Latent Permutations with Gumbel-Sinkhorn Networks

Gonzalo E. Mena, David Belanger외 2명|arXiv (Cornell University)|2018. 02. 23.

Topic Modeling인용 수 93

한 줄 요약

이 논문은 Sinkhorn 네트워크와 Gumbel-Sinkhorn 분포를 도입하여 latent permutation을 가진 엔드 투 엔드 학습이 가능하도록 하고, 최대 가중치 매칭을 근사하고 재매개 가능한 그래디언트를 가능하게 하는 미분 가능 Sinkhorn 이완을 제시한다.

ABSTRACT

Permutations and matchings are core building blocks in a variety of latent variable models, as they allow us to align, canonicalize, and sort data. Learning in such models is difficult, however, because exact marginalization over these combinatorial objects is intractable. In response, this paper introduces a collection of new methods for end-to-end learning in such models that approximate discrete maximum-weight matching using the continuous Sinkhorn operator. Sinkhorn iteration is attractive because it functions as a simple, easy-to-implement analog of the softmax operator. With this, we can define the Gumbel-Sinkhorn method, an extension of the Gumbel-Softmax method (Jang et al. 2016, Maddison2016 et al. 2016) to distributions over latent matchings. We demonstrate the effectiveness of our method by outperforming competitive baselines on a range of qualitatively different tasks: sorting numbers, solving jigsaw puzzles, and identifying neural signals in worms.

연구 동기 및 목표

• 잠정적으로 불가능한 경우 Exact marginalization이 어려운 모델에서 latent 매칭 및 순열의 학습에 대한 동기를 부여한다.
• 순열 선택을 위한 Sinkhorn 연산자를 통한 미분 가능 근사를 도입한다.
• 재매개 가능한 추론을 위해 Gumbel-Sinkhorn으로 순열에 Gumbel-Softmax 아이디어를 확장한다.
• 재구성 작업을 위한 소프트/완전 매칭을 생성하는 순열-등식 네트워크 구조를 개발한다.
• 정렬, 퍼즐 조각 맞추기, 그리고 C. elegans의 신경 신호 식별에서의 실험적 효능을 보여준다.]
• method（):
• method
• [

제안 방법

• Sinkhorn 연산자를 정의하여 임의의 행렬을 이중 확률 행렬로 매핑하는 순열 행렬의 미분 가능 이완을 제공한다.
• 비미분 가능 매칭 연산자 M(X)가 τ → 0의 극한으로 S(X/τ)의 극한에서 회복될 수 있음을 증명하여 미분 가능 근사를 가능하게 한다.
• 최종 계층이 unnormalized 할당 점수의 행을 나타내고 S(·/τ)를 통해 soft permutation으로 변환되는 Sinkhorn 네트워크를 도입한다.
• Gumbel-Sinkhorn으로 확장: P ~ GS(X, τ)로 S((X+ε)/τ)로 재매개가능 샘플링을 가능하게 하여 latent permutations을 다룬다.
• 잠재 변수 모델에서 후방 분포를 근사하기 위해 GS 분포를 사용한 변분 추론을 적용한다.
• 정렬, 퍼즐 조각 재구성, C. elegans 뉴런 식별 등의 작업에서 엔드투엔드 학습 및 재매개 가능한 그래디언트를 시연한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 미분 가능 모델에서 latent permutations를 어떻게 근사하고 최적화할 수 있는가?
• RQ2 Sinkhorn 연산자는 permutations에 대한 Softmax의 미분 가능 아날로그로 작용하고 재매개 기반 학습을 가능하게 할 수 있는가?
• RQ3 Gumbel 기반 이완(Gumbel-Sinkhorn)이 latent permutation 구조에 대한 효과적인 변분 추론을 제공하는가?
• RQ4 Permutation-동등 아키텍처가 섞인 객체의 재구성 및 집합 간 매칭 학습에 효과적인가?
• RQ5 잠재 정렬: 정렬, 퍼즐, C. elegans에서의 신경 식별과 같이 latent alignment가 필요한 작업에서 얻는 실험적 이점은 무엇인가?

주요 결과

• Sinkhorn 연산자는 τ가 작아질수록 최대 가중치 매칭을 근사하는 미분 가능 이완을 제공한다.
• Gumbel-Sinkhorn 분포는 latent permutation에 대한 재매개 학습을 가능하게 하여 그래디언트 기반 최적화를 가능하게 한다.
• Sinkhorn 네트워크는 숫자 정렬에서 강한 성능을 보이며, 퍼즐 조각 맞추기 및 섞인 조각으로부터 이미지를 재구성하는 데 경쟁력 있는 지표를 달성한다.
• C. elegans 신경 추론에서 Gumbel-Sinkhorn과 변분 추론은 다양한 알려진 뉴런 비율과 난이도에서 순열 식별 정확도 측면에서 MCMC 및 다른 기준선보다 우수하다.
• Permutation-등식 아키텍처를 사용하면 재구성이 조각들에만 의존하고 섞인 배열에 의존하지 않게 되어 일관성과 학습 효율이 향상된다.
• 이전 연구와 비교하여 Gumbel-Sinkhorn은 더 밀집한 이완과 효과적인 잠재 순열 모델링을 제공하며 고밀도 네트워크를 필요로 하지 않는다.