[論文レビュー] Learning Permutations with Sinkhorn Policy Gradient

Patrick Emami, Sanjay Ranka|arXiv (Cornell University)|May 18, 2018

Machine Learning and Algorithms参考文献 37被引用数 40

ひとこと要約

本論文は Sinkhorn Policy Gradient (SPG) を導入する。温度制御された Sinkhorn 層を用いて置換行列上のポリシーを学習するポリシー勾配法であり、微分可能な緩和を提供し、アクタークリシックフレームワークでのエンドツーエンド訓練を可能にする。

ABSTRACT

Many problems at the intersection of combinatorics and computer science require solving for a permutation that optimally matches, ranks, or sorts some data. These problems usually have a task-specific, often non-differentiable objective function that data-driven algorithms can use as a learning signal. In this paper, we propose the Sinkhorn Policy Gradient (SPG) algorithm for learning policies on permutation matrices. The actor-critic neural network architecture we introduce for SPG uniquely decouples representation learning of the state space from the highly-structured action space of permutations with a temperature-controlled Sinkhorn layer. The Sinkhorn layer produces continuous relaxations of permutation matrices so that the actor-critic architecture can be trained end-to-end. Our empirical results show that agents trained with SPG can perform competitively on sorting, the Euclidean TSP, and matching tasks. We also observe that SPG is significantly more data efficient at the matching task than the baseline methods, which indicates that SPG is conducive to learning representations that are useful for reasoning about permutations.

研究の動機と目的

• 解が置換である組合せ問題の学習アルゴリズムを動機づける。
• 置換行列上の微分可能でエンドツーエンド訓練可能なポリシーを開発する。
• Sinkhorn 層を介して状態表現学習と構造化された置換アクション空間を分離する。
• ソート、最大重みマッチング、ユークリッド TSP におけるデータ効率と競争力のある性能を示す。

提案手法

• SPG を導入する。P_N における置換空間の行動に対するオフポリシー決定論的ポリシー勾配法。
• 置換を温度制御された Sinkhorn 層を用いて連続な二重確率行列に緩和し、微分可能なポリシー勾配を可能にする。
• アクターが Doubly-Stochastic Matrix M を出力するアクタークリシック構成を用い、最も近い置換 P は Hungarian rounding によって得られ、勾配は P を経由せずに伝搬される。
• 離散 and continuous 行動の Q 値を揃えるクリティックペナルティ項を組み込み、緩和バイアスを減らす。
• リプレイバッファと GRASP に触発された k-exchange perturbations および epsilon-greedy 探索による探索戦略で学習する。
• データ効率と性能向上を示すため、ソート、maximum weight matching (MWM)、Euclidean TSP に関するアブレーション研究と実験を提供する。）

実験結果

リサーチクエスチョン

• RQ1 SPG はソート、MWM、TSP のタスクに対して置換行列上のポリシーを効果的に学習できるか。
• RQ2 温度制御された Sinkhorn 緩和により置換ポリシーのエンドツーエンド微分可能な訓練が可能になるか。
• RQ3 クリティックペナルティ項は連続的緩和から生じるバイアスを減らし、学習の安定性を改善するか。
• RQ4 置換ベースのタスクにおいて、SPG はベースラインモデルと比較してデータ効率はどの程度か。

主な発見

• SPG はソート、MWM、Euclidean TSP に対して競争力のある解を学習する。
• 問題サイズが大きくなると、MWM のタスクで SPG はベースライン手法よりデータ効率が高い。
• クリティックペナルティ項は soft (continuous) と hard (discrete) の Q 値を整列させ、緩和によるバイアスを減らし、飽和する前により長く学習を可能にする。
• より小さな Sinkhorn 温度 tau は平均報酬を高める傾向があるが分散が増加し、tau=0.05 未満では収益の向上は鈍化する。
• GRASP様の撹乱と epsilon-greedy を組み合わせた探索戦略は、タスクを横断して堅牢に機能する。
• SPG+Matching は置換ベースのタスクに対して効果的な表現を学習し、ベースラインの RL デコーダー手法よりもスケールする。