[論文レビュー] Learning Generalizable Models for Vehicle Routing Problems via Knowledge Distillation

Jieyi Bi, Yining Ma+5 more|arXiv (Cornell University)|Oct 14, 2022

Vehicle License Plate Recognition被引用数 25

ひとこと要約

本論文は Adaptive Multi-Distribution Knowledge Distillation (AMDKD) を提案し、複数の distribution-specific teacher から知識を蒸留して、複数の VRP 分布に対して一般化する軽量な student モデルを訓練する。

ABSTRACT

Recent neural methods for vehicle routing problems always train and test the deep models on the same instance distribution (i.e., uniform). To tackle the consequent cross-distribution generalization concerns, we bring the knowledge distillation to this field and propose an Adaptive Multi-Distribution Knowledge Distillation (AMDKD) scheme for learning more generalizable deep models. Particularly, our AMDKD leverages various knowledge from multiple teachers trained on exemplar distributions to yield a light-weight yet generalist student model. Meanwhile, we equip AMDKD with an adaptive strategy that allows the student to concentrate on difficult distributions, so as to absorb hard-to-master knowledge more effectively. Extensive experimental results show that, compared with the baseline neural methods, our AMDKD is able to achieve competitive results on both unseen in-distribution and out-of-distribution instances, which are either randomly synthesized or adopted from benchmark datasets (i.e., TSPLIB and CVRPLIB). Notably, our AMDKD is generic, and consumes less computational resources for inference.

研究の動機と目的

• ニューラル VRP ソルバーの分布間一般化の課題に取り組む（通常は同じ分布で訓練・テストされることが多く、Uniform などが含まれる）。
• 複数のお手本分布から多様なポリシーを単一の一般ist 学生モデルへ転移させる汎用的な学習フレームワークを提案する。
• AMDKD が未見の同分布内・分布外のインスタンスに対して競争力のある性能を示しつつ、計算効率が高いことを示す。
• 代表的な構築モデル（AM および POMO）への適用性を示し、Efficient Active Search (EAS) と組み合わせると潜在的な性能向上があることを示す。
• 提案された蒸留スキームの有効性と汎用性を検証する分析を提供する。

提案手法

• Adaptive Multi-Distribution Knowledge Distillation (AMDKD) を提案し、軽量な student を複数の distribution-specific 教師から蒸留して訓練する。
• Exemplar 分布（Uniform, Cluster, Mixed）を用いて教師を訓練し、オンポリシー蒸留を実施して、student が毎エポックごとに単一の選択教師から順次ノード選択を学習する。
• 学生の検証性能に基づいて distribution を選ぶ確率を更新する適応的な分布選択戦略を導入し、難易度の高い分布に焦点を当てる。
• 一般化と推論速度のバランスを取るために student モデルサイズを削減（例：ノード埋め込み次元を 128 から 64 に）し、効果的な場合にはより大きな学生を許容する。
• AMDKD を二つのバックボーンモデル（AM および POMO）に適用して AMDKD-AM および AMDKD-POMO のバリアントを取得し、競争力のある一般化性能を報告する。
• 推論時に AMDKD student を Efficient Active Search (EAS) と結合することで、最先端の結果を達成する可能性がある。

実験結果

リサーチクエスチョン

• RQ1 単一の student モデルが複数の distribution-specific 教師から学習して VRP distribution を横断して一般化できるか。
• RQ2 難易度の高い分布を優先する適応蒸留戦略は分布間一般化を改善するか。
• RQ3 AMDKD は未見の分布やベンチマークデータセットで、ベースラインのニューラル VRP モデルや他の一般化手法と比較してどのように性能を示すか。
• RQ4 AMDKD のアプローチは、不同なるバックボーンアーキテクチャ（AM および POMO）や問題変種（TSP および CVRP）に適用した場合に頑健か。

主な発見

• AMDKD は、未見の分布に対して TSP および CVRP のどちらでも教師モデルを上回る軽量な student を生成する。
• 学生モデルのサイズを大幅に削減できる（例: AM を 0.68M から 0.26M、POMO を 1.20M から 0.49M へ）にも関わらず、一般化が維持または向上する。
• AMDKD は、未見の同分布内および分布外のインスタンスに対して、HAC、LCP、DACT、DROP、GANCO、PSRO/LIH などのベースラインと比較して競争力のある一般化を達成する。
• AMDKD のバリアント（AMDKD-AM および AMDKD-POMO）は、サイズを問わずしばしばそれぞれのバックボーンを上回りつつ、推論をより速く保つ。
• AMDKD を Efficient Active Search (EAS) と結ぶと、評価済みベンチマークで新しい最先端を達成する。