[論文レビュー] Learning a Generic Value-Selection Heuristic Inside a Constraint Programming Solver

Marty, Tom, François, Tristan+4 more|arXiv (Cornell University)|Jun 16, 2017

Reinforcement Learning in Robotics参考文献 28被引用数 521

ひとこと要約

本論文は、チームレベルの価値関数を個々のエージェントの価値関数に分解する手法である価値分解ネットワーク（VDN）を提案する。このアーキテクチャにより、単一の連携報酬信号でのみ、協調的マルチエージェント学習が可能になる。総Q値勾配を個々のネットワークに逆伝播させることで、VDNは『怠けたエージェント』問題や誤った報酬を軽減し、部分的に観測可能な環境において、中央集権的および独立的学習のベースラインを上回る性能を発揮する。特に重み共有と情報チャネルを組み合わせることで、性能が向上する。

ABSTRACT

Constraint programming is known for being an efficient approach to solving combinatorial problems. Important design choices in a solver are the branching heuristics, designed to lead the search to the best solutions in a minimum amount of time. However, developing these heuristics is a time-consuming process that requires problem-specific expertise. This observation has motivated many efforts to use machine learning to automatically learn efficient heuristics without expert intervention. Although several generic variable-selection heuristics are available in the literature, the options for value-selection heuristics are more scarce. We propose to tackle this issue by introducing a generic learning procedure that can be used to obtain a value-selection heuristic inside a constraint programming solver. This has been achieved thanks to the combination of a deep Q-learning algorithm, a tailored reward signal, and a heterogeneous graph neural network. Experiments on graph coloring, maximum independent set, and maximum cut problems show that this framework competes with the well-known impact-based and activity-based search heuristics and can find solutions close to optimality without requiring a large number of backtracks.

研究の動機と目的

• 単一の連携報酬信号でのみ、協調的マルチエージェント強化学習における『怠けたエージェント』問題と誤った報酬を解消すること。
• 明示的な報酬形状付けや環境の完全な観測可能性がなくても、個々のエージェントが効果的な方策を学習できる手法を開発すること。
• 学習可能な価値分解機構を用いて、部分的に観測可能なマルチエージェント環境におけるサンプル効率と協調性を向上させること。
• VDNの有効性を、多様なベンチマークタスクにおいて中央集権的および独立的学習アプローチと比較して評価すること。
• 重み共有、役割情報、通信チャネルといった補助的要素がVDN性能に与える影響を調査すること。

提案手法

• 連携Q関数を個々のエージェントQ関数への加法的分解を学習する、新規の価値分解ネットワーク（VDN）を提案する。
• エンドツーエンドのディープラーニングを用い、総Q値勾配を個々のネットワークに逆伝播させることで、個々の価値関数の共同最適化を可能にする。
• エージェント間で共有されるニューラルネットワークアーキテクチャ（重み共有）を採用し、サンプル効率と一般化性能を向上させる。
• 特に非対称タスクにおいて協調性を向上させるために、役割情報と情報チャネルを導入する。
• 個々のエージェントが独立して推論できるが、学習時には連携して行う「中央集権的学習・分散実行（CTDE）」パラダイムを採用する。
• 経験リプレイとターゲットネットワークを用いて学習を安定化させ、深層Qネットワーク（DQN）と同様の手法をマルチエージェント設定に適応する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な価値分解機構は、単一の連携報酬でのみ、中央集権的および独立的学習を上回ることができるか？
• RQ2 価値分解は、部分的観測性と非定常性によって引き起こされる『怠けたエージェント』問題をどのように軽減するか？
• RQ3 重み共有、役割情報、通信チャネルの有無が、価値分解されたエージェントの性能に与える影響は何か？
• RQ4 VDNは、タスク固有の報酬形状付けなしに、多様な部分的観測可能なマルチエージェント環境に一般化可能か？
• RQ5 価値分解は、チーム報酬への個々の貢献を反映する、より解釈可能で分離可能な価値関数をもたらすか？

主な発見

• VDNは、全7つのベンチマークタスクにおいて、中央集権的および独立的学習のベースラインを一貫して上回り、正規化されたAUCと最終的なパフォーマンスが顕著に高い結果を達成した。
• 単一の通路を持つフェッチタスクでは、重み共有と役割情報を持つVDNが完璧なパフォーマンスを達成したが、重み共有を行わないバージョンは『怠けたエージェント』問題に苦しんだ。
• 情報チャネルの追加により、特に報酬の大きさが異なるエージェントを有する非対称タスク（例えば、チェッカーズ）において、学習速度と協調性が向上した。
• 学習されたQ分解により、チーム報酬がエージェント固有の貢献に明確に分離されたことが図6で示された。ここでは、ピックアップおよびドロップオフのイベント時にエージェントのQ関数が独立してピークを示した。
• 重み共有と役割情報を備えたVDNは、1本の通路を持つフェッチタスクを完璧に解消したが、独立学習者と中央集権的エージェントは効果的な協調が図れなかった。
• LSTMによって処理される低レベルの通信チャネルが、高レベルの中央集権的通信を上回った。これは、マルチエージェント観測の早期統合が学習を促進することを示唆している。