[論文レビュー] Deep Q-Learning for Directed Acyclic Graph Generation

Laura D'Arcy, Padraig Corcoran+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 8被引用数 6

ひとこと要約

本稿では、グラフ畳み込みネットワークを用いてQ値を近似することで、指定されたトポロジーとノードタイプを持つ有向無閉路グラフ（DAG）を生成するためのディープQラーニング手法を提案する。ノードとエッジの追加を1つのアクションとして扱うことで、指数的増加するアクション空間にもかかわらず、スパースな報酬環境においても効率的なDAG生成が可能となり、小さなDAGでは高い成功確率を達成した。

ABSTRACT

We present a method to generate directed acyclic graphs (DAGs) using deep reinforcement learning, specifically deep Q-learning. Generating graphs with specified structures is an important and challenging task in various application fields, however most current graph generation methods produce graphs with undirected edges. We demonstrate that this method is capable of generating DAGs with topology and node types satisfying specified criteria in highly sparse reward environments.

研究の動機と目的

• 事前学習データを必要としない強化学習手法を用いて、有向無閉路グラフ（DAG）を生成すること。
• 関数近似を用いたディープQラーニングにより、DAG生成における報酬のスパarsity（スパarsity）という課題に対処すること。
• ノードタイプと連続的特徴量を複数扱える単一アクション機構を用いて、スケーラブルなDAG生成を可能とすること。
• 表形式のQラーニングの制限を克服するため、大規模な状態空間とアクション空間を扱える深層ニューラルネットワークを用いること。
• エッジ追加における対称性を考慮し、バッチアクション選択を用いることで学習効率を向上させること。

提案手法

• DAG生成プロセスを、隣接行列とワンホットエンコーディングされたノード特徴量で定義される状態を持つマルコフ決定過程としてモデル化する。
• アクションは、指定されたタイプの新しいノードを追加し、同時にその入力エッジの集合を追加することから成り、二値ベクトルとして符号化され、アクション空間の列挙に整数に変換される。
• グラフ畳み込みネットワーク（GCN）が状態を処理し、Q値推定値を出力する。エッジの方向性を符号化するために、隣接行列の転置が使用される。
• 経験再生とターゲットネットワークを用いたディープQラーニングにより、学習の安定化を図り、サンプル効率を向上させるために優先順位付き経験再生を適用する。
• アクション空間は $ b \times (2^{n-1} - 1) $ と定義され、ここで $ b $ はノードタイプ数、$ n $ はノード数であり、孤立ノードを避けるために空のエッジ集合を除く。
• 探索は、全アクション空間上で $ \epsilon $-greedy選択を用い、アクションは二値符号化されたエッジ集合からサンプリングされる。

実験結果

リサーチクエスチョン

• RQ1 ディープQラーニングは、データフリーの強化学習設定において、特定のトポロジーとノードタイプを持つDAGを生成できるか？
• RQ2 報酬が非常にスパースな環境（終端状態のわずか一部のみが非ゼロ報酬を返す）において、ディープQラーニングはどの程度有効か？
• RQ3 ノードとエッジの追加を1つのアクションとして扱うことで、逐次的なノード／エッジ追加と比較して学習効率が向上するか？
• RQ4 優先順位付き経験再生は、DAG生成における学習収束をどの程度向上させるか？
• RQ5 DAGサイズとノードタイプ数の増加に伴い、この手法はどの程度スケーラブルか？

主な発見

• 優先順位付き経験再生を用いたDQN（DQN+PER）は、ノードタイプが1つの4ノードDAGにおいて平均報酬9,902を達成し、ランダムアクション選択（882）を著しく上回った。
• ノードタイプが3つの6ノードDAGでは、DQN+PERが平均報酬5,169を達成したのに対し、ランダムエージェントは6にとどまり、極めてスパースな環境下でも学習が可能であることが示された。
• DQN+PERを用いた場合、ノードタイプが1つの4ノードDAGでは95％を超える成功確率を達成した。これは、指数的増加する状態空間とアクション空間にもかかわらず、効果的な学習が可能であることを示している。
• 二値アクション選択（一度に複数のエッジを追加）は、逐次的エッジ追加よりも収束が速く、エッジ順序に起因する非対称性が排除された。
• グリーディポリシーの平均成功確率は10,000エピソードにわたり着実に上昇し、DQN+PERは全テスト設定で標準DQNを上回る性能を示した。
• ノード数5、ノードタイプ数3のDAGでは、25,515通りの可能な終端状態のうち、たった3つしかターゲットと同型ではなかったが、エージェントはそれらに高い頻度で到達するよう学習した。