[論文レビュー] TauRieL: Targeting Traveling Salesman Problem with a deep reinforcement learning inspired architecture

Gorker Alp Malazgirt, Osman Ünsal+1 more|arXiv (Cornell University)|May 14, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 4

ひとこと要約

TauRieL は、学習可能な状態遷移行列を用いたアーキテクチャを持つ深層強化学習（DRL）にインspiredされた TSP（巡回セールスマン問題）ソルバであり、数秒で近似的に最適な TSP 巡回路線を生成する。オンライン学習と探索を統合することで、最新のオフライン手法と比較して解の生成速度が100倍以上に向上し、50都市インスタンスにおいては性能劣化が6.1%にとどまる。これは、状態遷移行列における制約付き遷移によって実行可能性を保証することで達成された。

ABSTRACT

In this paper, we propose TauRieL and target Traveling Salesman Problem (TSP) since it has broad applicability in theoretical and applied sciences. TauRieL utilizes an actor-critic inspired architecture that adopts ordinary feedforward nets to obtain a policy update vector $v$. Then, we use $v$ to improve the state transition matrix from which we generate the policy. Also, the state transition matrix allows the solver to initialize from precomputed solutions such as nearest neighbors. In an online learning setting, TauRieL unifies the training and the search where it can generate near-optimal results in seconds. The input to the neural nets in the actor-critic architecture are raw 2-D inputs, and the design idea behind this decision is to keep neural nets relatively smaller than the architectures with wide embeddings with the tradeoff of omitting any distributed representations of the embeddings. Consequently, TauRieL generates TSP solutions two orders of magnitude faster per TSP instance as compared to state-of-the-art offline techniques with a performance impact of 6.1\% in the worst case.

研究の動機と目的

• 長時間のオフライン事前学習を回避する、高速でオンラインな深層強化学習 TSP ソルバの開発。
• 1つのオンラインフレームワーク内で学習と探索を統合し、各 TSP インスタンスごとの収束を高速化すること。
• 学習可能な状態遷移行列における遷移の制約を通じて、巡回ルート構築中に実行可能性を保証すること。
• 学習された埋め込みを避けて、元の2次元座標をそのまま入力として使用することで、ニューラルネットワークのサイズを縮小し、推論を高速化すること。
• 従来の深層学習ベースの TSP ソルバーよりも著しく短いインスタンスごとの解生成時間を実現しながら、競争力のある解の品質を達成すること。

提案手法

• TauRieL は、エージェントが環境の確率的状態を把握するための出力ベクトル $ v $ を生成するエージェント（アクトロ）と、期待される巡回長を推定する評価者（クリティック）からなる、アーキテクチャを有する深層強化学習アーキテクチャを採用している。
• 状態遷移行列は、アクトロの出力ベクトル $ v $ を用いて更新され、エージェントが都市間の遷移に関する確率的ビューを持つことで、都市遷移における方策学習が可能になる。
• 最終的な方策は、遷移行列からの決定的マッピングとして導出され、現在の状態に基づいて次に訪問する都市が選択される。
• 遷移行列により、近隣都市法などの事前計算されたヒューリスティクスからの初期化が可能となり、収束が加速する。
• エージェントと評価者ネットワークは、それぞれ REINFORCE アルゴリズムと確率的勾配降下法を用いて学習され、モデルサイズを最小限に抑えるために、入力として元の2次元座標が使用されている。
• 実行可能性は、例えば都市の再訪問など不適切な遷移を遷移行列内で0にすることで保証され、これにより有効な巡回ルートのみが生成される。

実験結果

リサーチクエスチョン

• RQ1 オンライン型の深層強化学習フレームワークは、最新のオフライン手法と比較して、著しく高速な TSP 解の生成を達成できるか？
• RQ2 学習可能な遷移行列は、解の品質を維持しつつ、学習と探索を統合するのにどの程度有効か？
• RQ3 TSP ソルバーにおいて、学習された埋め込みを代替する元の2次元座標を用いることで、性能劣化がどの程度まで許容されるか？
• RQ4 ヒューリスティクス初期化（例：近隣都市法）を DRL フレームワークに統合することで、収束速度が向上するか？
• RQ5 TSP ソルバーにおいて、オンライン学習とオフライン事前学習の間で、解の品質と速度のトレードオフはどのようなものか？

主な発見

• TauRieL は、最新のオフライン深層学習手法と比較して、1インスタンスあたりの TSP 解の生成速度が2桁以上速い。
• 50都市インスタンスにおいて、TauRieL は最適解と比較して最悪ケースで6.1%の性能劣化を示した。
• 秒単位で近似的に最適な結果を達成しており、強力なリアルタイム適用可能性を示している。
• 元の2次元入力座標を用い、広い埋め込みを避けることで、TauRieL はより小さなニューラルネットワークを維持し、推論速度を向上させている。
• 遷移行列の統合により、ヒューリスティクス初期化（例：近隣都市法）が可能となり、収束速度が向上した。
• 直接的な遷移行列の更新を伴うエージェント・クリティックアーキテクチャにより、オンライン学習と統合された学習／探索が可能となり、事前学習への依存が軽減された。