[論文レビュー] Constructions in combinatorics via neural networks

Adam Zsolt Wagner|arXiv (Cornell University)|Apr 29, 2021

Advanced Graph Theory Research参考文献 48被引用数 15

ひとこと要約

この論文は、強化学習、特に深層交差エントロピー法を用いることで、事前の問題知識なしに、極値的組合せ論およびグラフ理論における明示的な反例や新しい構成を発見できることを示している。自己対戦と段階的改善を通じて問題固有のスコア関数を最適化するようにニューラルネットワークを訓練することで、パターン回避行列の行列式に関する複数の未解決の予想、およびグラフの固有値性質に関する予想を反証した。

ABSTRACT

We demonstrate how by using a reinforcement learning algorithm, the deep cross-entropy method, one can find explicit constructions and counterexamples to several open conjectures in extremal combinatorics and graph theory. Amongst the conjectures we refute are a question of Brualdi and Cao about maximizing permanents of pattern avoiding matrices, and several problems related to the adjacency and distance eigenvalues of graphs.

研究の動機と目的

• 強化学習が、組合せ論およびグラフ理論における未解決の予想に対して、事前の知識なしに明示的な反例を自動で発見できるかどうかを調査すること。
• 深層交差エントロピー法を、基礎的な数学的構造についての事前知識のない極値的組合せ論問題に適用すること。
• ニューラルネットワークが、非自明な組合せ的対象を発見する際、従来のプログラミングや手作業による構成を上回ることを示すこと。
• 学習された構成を用いて、グラフスペクトル、行列式、集合系に関する特定の予想を反証すること。
• 同じ強化学習フレームワークを、報酬関数を変更するだけで異なる数学的問題に適応できることを示すこと。

提案手法

• 深層交差エントロピー法を強化学習アルゴリズムとして用い、ニューラルネットワークが段階的に組合せ的対象（例：グラフ、行列）を生成するように訓練する。
• 各構成は、問題固有のスコア関数によって評価され、完全な構成が終了した後のみスパarsなフィードバックが得られるため、遅延報酬を伴う「ゲーム」に類似している。
• エージェントは、集団からスコアが最も高い構成を選択し、交差エントロピー最適化によってネットワーク重みを更新することで、繰り返し方策を改善する。
• 行動空間が小さい問題、例えばエッジごとのグラフ構築や二値行列の要素選択にこの手法を適用する。
• 一部の問題では、線形計画法ソルバを強化学習と併用し、特に線形計画として表現可能な問題に対して結果の検証や拡張を行う。
• フレームワークはモジュラーである。異なる予想を標的とするには、報酬関数のみを再定義すればよく、広範な適用性を有する。

実験結果

リサーチクエスチョン

• RQ1 事前の問題知識なしに強化学習が、極値的組合せ論における未解決の予想に対して明示的な反例を発見できるか？
• RQ2 行動空間が大きいがスパース報酬の組合せ最適化問題を、深層交差エントロピー法が効率的に最適化できるか？
• RQ3 手作業で見つけにくいが、強化学習で発見可能な非自明なグラフ理論および行列組合せ論的構成は存在するか？
• RQ4 強化学習ベースの手法が、グラフ理論における固有値、行列式、集合系に関する予想を反証できるか？
• RQ5 弱く交叉する集合系の最大サイズは何か？また、強化学習はその漸近的挙動を特定するのに役立てるか？

主な発見

• BrualdiとCaoによる312パターン回避二値行列の最大行列式に関する予想を反証し、n ≤ 8における最適値が1, 2, 4, 8, 16, 32, 64, 120であることを示した。
• グラフの最大固有値とマッチング数の和に関する予想に対して反例を発見し、予測された境界を超える構成を提示した。
• AouchicheとHansenによる距離スペクトルおよび距離の近接性に関する予想を反証し、提案された不等式を破る構成を提供した。
• HogbenとReinhartが提起した未解決の問題を解決し、伝達正則性が距離ラプラシアン共スペクトル性の下で保存されないことを示した。
• ハイパーキューブの被覆に関する予想に対して反例を構築し、{0,1}^6 から2次元部分空間を除いた集合が4つの超平面で被覆可能であることを示した。これは予想とは逆であった。
• サイズ146の(4,4)-集合系を発見し、2×(8 choose 4) = 140を上回った。これにより、g(a,b) < 2×(a+b choose b) という予想が反証された。