[論文レビュー] How Multimodal Integration Boost the Performance of LLM for Optimization: Case Study on Capacitated Vehicle Routing Problems

Yuxiao Huang, Wenjie Zhang+3 more|arXiv (Cornell University)|Mar 4, 2024

Advanced Manufacturing and Logistics Optimization被引用数 6

ひとこと要約

本論文は、CVRPを解くためのマルチモーダルLLMフレームワーク（テキスト + 視覚情報）を提案し、テキストのみのプロンプトよりルーティング性能が向上することを示している。

ABSTRACT

Recently, large language models (LLMs) have notably positioned them as capable tools for addressing complex optimization challenges. Despite this recognition, a predominant limitation of existing LLM-based optimization methods is their struggle to capture the relationships among decision variables when relying exclusively on numerical text prompts, especially in high-dimensional problems. Keeping this in mind, we first propose to enhance the optimization performance using multimodal LLM capable of processing both textual and visual prompts for deeper insights of the processed optimization problem. This integration allows for a more comprehensive understanding of optimization problems, akin to human cognitive processes. We have developed a multimodal LLM-based optimization framework that simulates human problem-solving workflows, thereby offering a more nuanced and effective analysis. The efficacy of this method is evaluated through extensive empirical studies focused on a well-known combinatorial optimization problem, i.e., capacitated vehicle routing problem. The results are compared against those obtained from the LLM-based optimization algorithms that rely solely on textual prompts, demonstrating the significant advantages of our multimodal approach.

研究の動機と目的

• 高次元問題に対するLLMベースの最適化におけるテキストのみのプロンプトの制約を動機づけ、解決する。
• CVRPインスタンスのテキスト表現と視覚表現の両方を処理するマルチモーダルLLMフレームワークを導入する。
• ビジュアルプロンプトが変数間相互作用と問題構造を捉えるのに役立つことを示す。
• CVRPベンチマークでフレームワークを評価し、テキストのみのLLM最適化アプローチと比較する。

提案手法

• 3段階のワークフローを提案する： (1) マルチモーダルプロンプトを用いた解決済み問題からのヒューリスティック抽出、 (2) XMLベースの問題文を用いた学習済みヒューリスティックによる解の生成、 (3) 解の評価とリペア機構による反復的洗練。
• ノード分布と経路を符号化する新しいXMLテキストプロンプトと付随する視覚レイアウトを用いてCVRP問題を表現する。
• GPT-4-vision-previewをマルチモーダル言語モデルとして用い、解決済みインスタンスからヒューリスティックを抽出し、予備解を生成し、その後検証と可行性確保のためのリペアを行う。
• CVRPベンチマークでマルチモーダルLLM（MLLM-V）をテキストのみLLM（MLLM-T）と比較し、解の品質向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 テキストと視覚情報を組み合わせたマルチモーダルプロンプトは、CVRPのような高次元問題に対するLLMベースの最適化を、テキストのみのプロンプトと比較して改善できるか。
• RQ2 解決済みのCVRPからマルチモーダルLLMがどのようなヒューリスティックやパターンを抽出して新しい問題解決を導くことができるか。
• RQ3 視覚情報の統合がCVRPプロンプトの解の実現可能性、品質、計算効率にどのように影響するか。
• RQ4 標準的なCVRPベンチマークにおいてMLLM-Vはどれくらい最適解に近づけるか。

主な発見

問題	最適	MLLM-T B.Cost	MLLM-T A.Cost	MLLM-T Gap	MLLM-V B.Cost	MLLM-V A.Cost	MLLM-V Gap
P-n19-k2	213	263	292	31%	235	260	22 %
A-n32-k5	788	1073	1161	47%	1040	1141	45 %
A-n36-k5	802	1068	1210	51%	1147	1229	53%
A-n38-k5	734	981	1132	54%	982	1040	42 %
A-n39-k5	829	1222	1366	65%	1112	1300	57 %
A-n44-k6	939	1449	1568	67%	1319	1445	54 %
A-n46-k7	918	1388	1566	70%	1430	1565	70 %
A-n65-k9	1182	1979	2143	81%	1848	2124	80 %
A-n69-k9	1166	2062	2161	85%	1807	2104	80 %
E-n51-k5	525	897	1022	95%	825	881	68 %
P-n55-k10	698	991	1045	50%	892	985	41 %
P-n65-k10	797	1205	1269	59%	1098	1223	54 %
P-n70-k10	830	1417	1558	88%	1218	1299	56 %
X-n139-k10	13596	30763	42475	212%	28568	33163	144 %
X-n143-k7	15697	46831	51238	226 %	38493	52339	233%
X-n153-k22	21227	44070	53435	152%	39955	49732	134 %
X-n162-k11	14139	33193	42320	199%	31518	38227	170 %

• MLLM-VはほとんどのCVRPインスタンスで平均コストと最良コストの点でMLLM-Tを一貫して上回る。
• 視覚プロンプトにより頂点の向きを記憶し、顧客分布をより効果的に配置でき、経路の重複を減らしコストを改善する。
• 報告されたギャップは、いくつかの小〜中規模インスタンス（例：P-n19-k2 および A-n44-k6）でMLLM-Vが最適基準に対して大幅な改善を示している。
• 広範なベンチマークにおいて、MLLM-Vは平均移動コストを低く抑え、最適性に近い性能をMLLM-Tより達成する。
• 本研究は、テキスト表現を超えるマルチモーダル情報がLLMベースの最適化を強化する可能性を示している。