[論文レビュー] Solving Optimization Problems through Fully Convolutional Networks: an Application to the Travelling Salesman Problem

Zhengxuan Ling, Xinyu Tao+2 more|arXiv (Cornell University)|Oct 27, 2019

Metaheuristic Optimization Algorithms Research参考文献 20被引用数 5

ひとこと要約

本稿では、TSPインスタンスを画像に類似した表現に変換することで、完全畳み込みネットワーク（FCN）を用いたTSPの新しいアプローチを提案する。10都市のTSPサンプルで訓練されたFCNは、最適解へのマッピングを学習し、ミリ秒単位の推論時間で高い一般化性能を示し、都市数の変動に対しても高いグローバル最適解回復率を達成する。

ABSTRACT

In the new wave of artificial intelligence, deep learning is impacting various industries. As a closely related area, optimization algorithms greatly contribute to the development of deep learning. But the reverse applications are still insufficient. Is there any efficient way to solve certain optimization problem through deep learning? The key is to convert the optimization to a representation suitable for deep learning. In this paper, a traveling salesman problem (TSP) is studied. Considering that deep learning is good at image processing, an image representation method is proposed to transfer a TSP to an image. Based on samples of a 10 city TSP, a fully convolutional network (FCN) is used to learn the mapping from a feasible region to an optimal solution. The training process is analyzed and interpreted through stages. A visualization method is presented to show how a FCN can understand the training task of a TSP. Once the training is completed, no significant effort is required to solve a new TSP and the prediction is obtained on the scale of milliseconds. The results show good performance in finding the global optimal solution. Moreover, the developed FCN model has been demonstrated on TSP's with different city numbers, proving excellent generalization performance.

研究の動機と目的

• 深層学習がTSPのような組合せ最適化問題を効果的に解けるかどうかを検討すること。
• 畳み込みニューラルネットワークに適した形式に離散的TSPインスタンスを変換することで、深層学習と最適化のギャップを埋めること。
• 訓練後、最小限の推論コストで近似的最適TSP巡回路を予測できる一般化可能なモデルを開発すること。
• FCNが構造的最適化タスクを解く際に示す学習ダイナミクスと解釈可能性を分析すること。

提案手法

• 空間符号化を用いてTSPインスタンスを畳み込み処理が可能な画像に類似したグリッドに表現すること。
• 10都市TSPインスタンスのデータセット上で完全畳み込みネットワーク（FCN）を訓練し、入力表現から最適巡回路シーケンスへのマッピングを学習すること。
• ネットワークの出力特徴マップから有効なTSP巡回路を生成する微分可能デコード戦略を採用すること。
• 可視化技術を用いて、FCNがTSP入力空間内の構造的パターンをどのように学習しているかを解釈すること。
• 訓練済みモデルを10都市を超える都市数のTSPインスタンスに適用し、一般化性能を評価すること。
• 段階的学習を最適化し、収束行動を分析することで、モデルの安定性を向上させること。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みネットワークは、TSPインスタンスの画像に類似した表現から最適TSP巡回路を効果的に予測できるか？
• RQ2 訓練データに含まれる都市数とは異なる都市数のTSPインスタンスに対し、訓練済みFCNはどの程度一般化できるか？
• RQ3 学習済み表現の可視化を通じて、FCNの内部的推論プロセスについてどのような知見が得られるか？
• RQ4 本モデルの推論速度は、TSPに対する従来の最適化アルゴリズムと比べてどうか？
• RQ5 画像表現が、TSPの構造的性質をネットワークが捉えるのをどのように支援しているか？

主な発見

• FCNモデルは、特に小規模なインスタンスにおいて、グローバル最適解または近似的最適解を高い精度で達成する。
• 訓練後、推論時間はミリ秒オーダーであり、リアルタイムでのデプロイが可能である。
• 10都市問題で訓練されたモデルは、20都市までのTSPインスタンスに対しても良好な一般化性能を示す。
• 可視化により、ネットワークがTSP入力においてクラスタ形成や凸包といった顕著な構造的特徴を学習していることが明らかになった。
• 学習プロセスには明確な段階が見られ、入力データ内の次第に複雑化するパターンを段階的に学習していることが示された。
• 画像ベースの表現は、コンピュータビジョンから組合せ最適化への誘導バイアスの効果的な転送を可能にした。