[논문 리뷰] Learning Permutations with Sinkhorn Policy Gradient

Patrick Emami, Sanjay Ranka|arXiv (Cornell University)|2018. 05. 18.

Machine Learning and Algorithms참고 문헌 37인용 수 40

한 줄 요약

이 논문은 Sinkhorn Policy Gradient (SPG)를 소개합니다. 온도 제어 Sinkhorn 레이어를 사용하여 순열 행렬에 대한 정책을 학습하는 미분 가능하고 엔드-투-엔드 학습이 가능한 정책 경사 방법으로, actor-critic 프레임워크에서 학습을 가능하게 합니다.

ABSTRACT

Many problems at the intersection of combinatorics and computer science require solving for a permutation that optimally matches, ranks, or sorts some data. These problems usually have a task-specific, often non-differentiable objective function that data-driven algorithms can use as a learning signal. In this paper, we propose the Sinkhorn Policy Gradient (SPG) algorithm for learning policies on permutation matrices. The actor-critic neural network architecture we introduce for SPG uniquely decouples representation learning of the state space from the highly-structured action space of permutations with a temperature-controlled Sinkhorn layer. The Sinkhorn layer produces continuous relaxations of permutation matrices so that the actor-critic architecture can be trained end-to-end. Our empirical results show that agents trained with SPG can perform competitively on sorting, the Euclidean TSP, and matching tasks. We also observe that SPG is significantly more data efficient at the matching task than the baseline methods, which indicates that SPG is conducive to learning representations that are useful for reasoning about permutations.

연구 동기 및 목표

• 해결책이 순열인 조합 문제를 위한 학습 알고리즘에 대한 동기를 제시한다.
• 순열 행렬 위의 미분 가능하고 엔드-투-엔드로 학습 가능한 정책을 개발한다.
• Sinkhorn 레이어를 통해 상태 표현 학습과 구조화된 순열 행동 공간을 분리한다.
• 정렬, 최대 가중 매칭(MWM), 유클리드 TSP에서 데이터 효율성과 경쟁력 있는 성능을 입증한다.

제안 방법

• SPG를 도입합니다. 이는 순열 공간 P_N의 행동에 대한 오프-폴리시 결정적 정책 경사 방법입니다.
• 온도 제어 Sinkhorn 레이어를 사용하여 순열을 연속 이중확률 행렬로 완화하고, 이는 미분 가능 정책 기울기를 가능하게 합니다.
• 액터가 이중 확률 행렬 M을 출력하는 액터-크리틱 아키텍처를 사용합니다. 가장 가까운 순열 P는 Hungarian rounding으로 얻고, 그라디언트는 P를 우회합니다.
• 연속 완화에서의 편향을 줄이기 위해 이산 및 연속 행동의 Q-값을 정렬시키는 크리틱 페널티 항을 도입합니다.
• 재생 버퍼와 GRASP에서 영감을 받은 k-교환 섞기와 epsilon-탐욕 탐사를 통한 탐사 전략으로 학습합니다.
• 데이터 효율성과 성능 향상을 보이기 위한 정렬, 최대 가중 매칭 (MWM), 유클리드 TSP에 대한 요인 제거 연구와 실험을 제공합니다.

실험 결과

연구 질문

• RQ1 SPG가 정렬, MWM, 그리고 TSP 과제에서 순열 행렬에 대한 정책을 효과적으로 학습할 수 있나요?
• RQ2 온도 제어 Sinkhorn 완화가 순열 정책의 엔드-투-엔드 미분 가능 학습을 가능하게 하나요?
• RQ3 크리틱 페널티 항이 연속 완화에서의 편향을 줄이고 학습의 안정성을 향상시키나요?
• RQ4 순열 기반 과제에서 SPG는 기준 모델과 비교하여 데이터 효율성이 얼마나 높나요?

주요 결과

• SPG는 정렬, MWM, 및 유클리드 TSP에 대해 경쟁력 있는 해를 학습합니다.
• 문제 규모가 커질수록 매칭 task에서 SPG가 기준 방법보다 데이터 효율적입니다.
• 크리틱 페널티 항은 소프트(연속) Q값과 하드(이산) Q값의 정렬을 돕고 완화에서의 편향을 줄여 포화되기 전 더 긴 학습을 가능하게 합니다.
• 더 작은 Sinkhorn 온도 tau는 평균 보상이 높아지지만 분산이 증가하고, tau=0.05 이하에서는 수익 증가가 둔화됩니다.
• GRASP 유사한 섞기와 epsilon-greedy를 결합한 탐사 전략이 모든 과제에서 강건하게 작동합니다.
• SPG+Matching은 순열 기반 과제에서 효과적인 표현을 학습하고, 기초 RL 디코더 방법들보다 스케일링이 더 잘됩니다.