[論文レビュー] It's Not What Machines Can Learn, It's What We Cannot Teach

Gal Yehuda, Moshe Gabel+1 more|arXiv (Cornell University)|Feb 21, 2020

Machine Learning and Algorithms参考文献 42被引用数 8

ひとこと要約

この論文は、NP困難問題の多項式時間データ生成者が、NP ∩ coNP 内の偏りがあり、より簡単な部分問題を必然的に生成することを示している。これは、代表的で一様に抽出されたデータ上で深層ニューラルネットワークを訓練することが不可能であることを意味する。広く受け入れられている仮定 NP ≠ coNP の下では、このような生成者はNP困難問題の全空間からサンプリングできないため、結合的クエリ包含（Conjunctive Query Containment）のようなタスクにおけるモデル性能が過大評価されることにつながる。

ABSTRACT

Can deep neural networks learn to solve any task, and in particular problems of high complexity? This question attracts a lot of interest, with recent works tackling computationally hard tasks such as the traveling salesman problem and satisfiability. In this work we offer a different perspective on this question. Given the common assumption that $ extit{NP} eq extit{coNP}$ we prove that any polynomial-time sample generator for an $ extit{NP}$-hard problem samples, in fact, from an easier sub-problem. We empirically explore a case study, Conjunctive Query Containment, and show how common data generation techniques generate biased datasets that lead practitioners to over-estimate model accuracy. Our results suggest that machine learning approaches that require training on a dense uniform sampling from the target distribution cannot be used to solve computationally hard problems, the reason being the difficulty of generating sufficiently large and unbiased training sets.

研究の動機と目的

• 多項式時間データ生成者を用いてNP困難問題の深層ニューラルネットワークを訓練する際の根本的制限を調査すること。
• NP ≠ coNP の仮定の下で、いかなる効率的データ生成者も、NP ∩ coNP 内のより簡単な部分問題からサンプリングすることを示すこと。
• 偏ったデータ生成が、結合的クエリ包含のようなNP困難タスクにおけるモデル精度の過大評価にどのように寄与するかを実証的に示すこと。
• NP困難問題から大規模で一様に抽出されたデータセットが、教師あり深層学習に実現可能であるという仮定に疑問を呈すること。
• 計算的に難しい問題のための合成データ生成に依存する機械学習手法に及ぼす影響を検討すること。

提案手法

• NP ≠ coNP という複雑性理論的仮定に基づく理論的分析。
• NP困難意思決定問題の多項式時間サンプリング手順が、NP ∩ coNP 内の部分問題からサンプリングしなければならないことを証明すること。
• データ拡張を用いて大規模なトレーニングセットを生成する、結合的クエリ包含（CQC）に関する実証的ケーススタディ。
• 拡張されたCQCデータセット上でニューラルネットワークを訓練し、より難しいインスタンスへの一般化を評価すること。
• 特徴量の点検を通じたデータセットバイアスの分析。分類が問題の複雑さではなく、表面的なパターンに基づいていることを示す。
• 生成データ上のモデル性能と全問題空間上の性能を比較することで、部分問題への過適合が明らかになる。

実験結果

リサーチクエスチョン

• RQ1 多項式時間データ生成者は、NP困難問題空間全体から一様に代表的なサンプルを生成できるか？
• RQ2 どのような複雑性理論的仮定の下で、多項式時間データ生成者はNP困難問題空間全体からサンプリングできないのか？
• RQ3 NP困難問題の一般的なデータ生成技術が、単純で表面的な特徴に有利なバイアスのかかっているデータセットをどれほど生成するのか？
• RQ4 効率的サンプリングによるデータセットバイアスが、NP困難タスクにおける深層学習モデルの一般化性能と認識される精度にどのように影響するか？
• RQ5 これらの発見は、計算的に難しい問題を解くために教師あり学習を用いる際の意味にどのような影響を与えるか？

主な発見

• NP ≠ coNP の仮定の下では、NP困難問題の任意の多項式時間データ生成者は、元のNP困難問題よりも厳密に簡単な部分問題（NP ∩ coNP）からサンプリングする。
• 本研究では、任意の多項式時間データ生成者が、長さや構造といった表面的な特徴に基づいて自明に分類可能なインスタンスを生成するNP困難言語を構築した。
• 結合的クエリ包含（CQC）に関する実証的結果から、拡張された多項式時間生成データで訓練されたモデルは、トレーニング分布上では高い精度を達成するが、より複雑で難しいインスタンスへの一般化に失敗することが明らかになった。
• 研究では、データ拡張やシードベースのサンプリングといったデータ生成技術が、ターゲット問題空間の全複雑性を反映しないバイアスのかかっているデータセットを生成することを明らかにした。
• これらの結果は、NP困難問題に対して合成データを用いた教師あり深層学習を用いる際の根本的制限を示しており、トレーニングデータの分布が本質的に代表的でないことを示唆している。
• これらの発見は、効率的データ生成に内在するサンプリングバイアスを克服するためには、決定的ソルバーや証明可能な近似を組み込んだハイブリッドモデルの導入が不可欠である可能性を示唆している。