[論文レビュー] Understanding Boolean Function Learnability on Deep Neural Networks.

Anderson Rocha Tavares, Pedro H. C. Avelar+4 more|arXiv (Cornell University)|Sep 13, 2020

Machine Learning and Algorithms参考文献 50被引用数 4

ひとこと要約

この論文は、組合せ最適化問題、モデルサンプリングベンチマーク、およびランダムな3-CNF論理式から導かれるブール関数を学習する深層ニューラルネットワークの方法を調査している。小さな浅いネットワークがこれらの関数を効果的に近似できることを発見した。制約の少ない3-CNFは制約の多いものよりも学習が難しい。また、正例の数が少ないため、より小さい論理式は学習がより困難であることがわかった。

ABSTRACT

Computational learning theory states that many classes of boolean formulas are learnable in polynomial time. This paper addresses the understudied subject of how, in practice, such formulas can be learned by deep neural networks. Specifically, we analyse boolean formulas associated with the decision version of combinatorial optimisation problems, model sampling benchmarks, and random 3-CNFs with varying degrees of constrainedness. Our extensive experiments indicate that: (i) regardless of the combinatorial optimisation problem, relatively small and shallow neural networks are very good approximators of the associated formulas; (ii) smaller formulas seem harder to learn, possibly due to the fewer positive (satisfying) examples available; and (iii) interestingly, underconstrained 3-CNF formulas are more challenging to learn than overconstrained ones. Source code and relevant datasets are publicly available (this https URL).

研究の動機と目的

• 組合せ最適化問題から得られるブール関数の実用的学習可能性を、深層ニューラルネットワークを用いて調査すること。
• 論理式のサイズと制約度がニューラルネットワークの学習パフォーマンスに与える影響を分析すること。
• 実世界および合成ベンチマークから導かれたブール論理式を、小さな浅いネットワークがどれだけ効果的に近似できるかを評価すること。
• 特に小さいか制約の少ない3-CNFであるブール論理式がなぜ学習が難しいのかを理解すること。

提案手法

• 組合せ最適化問題の決定版から得られるラベル付きブール論理式インスタンスに対して、小さな浅い順方向ニューラルネットワークを訓練すること。
• 制約度が異なるモデルサンプリングベンチマークとランダムな3-CNF論理式のデータセットを用いること。
• 充足割り当てと充足不能割り当てのテストセットを用いて、標準的な分類指標で汎化性能を評価すること。
• 論理式のサイズと制約度を体系的に変化させ、それらが学習精度と収束に与える影響を評価すること。
• 実験全体を通して固定されたネットワークアーキテクチャを用いることで、入力論理式の特性の影響を明確に分離すること。

実験結果

リサーチクエスチョン

• RQ1 小さな浅いニューラルネットワークは、組合せ最適化問題から得られるブール関数を効果的に近似できるか？
• RQ2 ブール論理式のサイズが、深層ニューラルネットワークによる学習可能性にどのように影響するか？
• RQ3 ランダムな3-CNF論理式の制約度は、関連するブール関数の学習難易度に影響を与えるか？
• RQ4 なぜ制約の少ない3-CNF論理式は制約の多いものよりも学習が難しいのか？

主な発見

• 小さな浅いニューラルネットワークは、組合せ最適化問題から得られるブール論理式に対して優れた近似性能を達成している。
• より小さなブール論理式は、学習がより困難であり、おそらく訓練データ内の正例（充足例）の数が少ないためである。
• 直感に反して、制約の少ない3-CNF論理式は制約の多いものよりも学習が難しい。
• ニューラルネットワークの汎化性能は、訓練データにおける充足割り当ての分布に著しく影響を受ける。