[論文レビュー] Polynomial-Time Approximation Schemes for Knapsack and Related Counting Problems using Branching Programs

Parikshit Gopalan, Adam R. Klivans+1 more|arXiv (Cornell University)|Aug 18, 2010

Machine Learning and Algorithms参考文献 10被引用数 23

ひとこと要約

本稿では、ナップサック問題、多次元ナップサック、整数値ナップサック、および少数の行をもつ連関表に対する、最初の決定的多項式時間近似スキーム（PTAS）を提示する。アプローチは、近似誤差を最小化するように選ばれた分布の下で、小さな幅、1回読み取りの分岐プログラム（ROBPs）を用いて解空間を近似するものであり、n、log W、および1/εの多項式時間で(1+ε)-乗法的精度の効率的な数え上げとサンプリングを可能にする。

ABSTRACT

We give a deterministic, polynomial-time algorithm for approximately counting the number of {0,1}-solutions to any instance of the knapsack problem. On an instance of length n with total weight W and accuracy parameter eps, our algorithm produces a (1 + eps)-multiplicative approximation in time poly(n,log W,1/eps). We also give algorithms with identical guarantees for general integer knapsack, the multidimensional knapsack problem (with a constant number of constraints) and for contingency tables (with a constant number of rows). Previously, only randomized approximation schemes were known for these problems due to work by Morris and Sinclair and work by Dyer. Our algorithms work by constructing small-width, read-once branching programs for approximating the underlying solution space under a carefully chosen distribution. As a byproduct of this approach, we obtain new query algorithms for learning functions of k halfspaces with respect to the uniform distribution on {0,1}^n. The running time of our algorithm is polynomial in the accuracy parameter eps. Previously even for the case of k=2, only algorithms with an exponential dependence on eps were known.

研究の動機と目的

• ナップサックや多次元ナップサックのような#P困難な数え上げ問題に対する、最初の決定的多項式時間近似スキームの開発。
• これらのアルゴリズムを定数個の制約をもつ整数値ナップサックおよび定数個の行をもつ連関表に拡張すること。
• 事前処理フェーズの後、効率的なサンプリングアルゴリズムを提供すること。
• 一様分布、対称分布、および積分布の下で、k個の半空間関数を1/εの多項式依存で学習すること。

提案手法

• 近似誤差を最小化するように選ばれた分布の下で、解空間を近似する小さな幅、1回読み取りの分岐プログラム（ROBPs）を構築する。
• 各層が距離測度d(fx, fy)における有界な距離をもつ代表的な接頭辞集合を維持する、グリーディな段階的構築法を用いる。
• ランダムな接尾辞のサンプリングを用いて距離d(fx◦b, fy)の確率的推定を行い、チェルノフ不等式により高い確率で誤差境界を保証する。
• ダイヤーのラウンド技術を用いて、非一様分布の下で多次元ナップサックの数え上げを単一ナップサックの数え上げに還元する。
• 半空間が(ε, 1/ε, n)-ほぼROBPであるという事実を活用し、一様分布および積分布の下での学習を可能にする。
• ほぼROBPに関する結果と合成補題を組み合わせることで、k個の半空間関数が(2kε, W^k, n)-ほぼROBPであることを示す。

実験結果

リサーチクエスチョン

• RQ1 決定的多項式時間アルゴリズムが、標準ナップサック問題に対して(1+ε)-近似数え上げを達成できるか？
• RQ2 このようなアルゴリズムを定数個の制約をもつ多次元ナップサックに拡張できるか？
• RQ3 同じフレームワークを整数値ナップサックおよび少数の行をもつ連関表に適用できるか？
• RQ4 一様分布および積分布の下で、k個の半空間関数を1/εの多項式依存で効率的に学習できるか？
• RQ5 事前処理の後、小さな幅の分岐プログラムを用いて効率的なサンプリングアルゴリズムを設計できるか？

主な発見

• アルゴリズムはO(n³ log W log(n/ε)/ε)時間で|KNAP(a,b)|の(1+ε)-乗法的近似を計算し、この問題に対する最初の決定的PTASを達成する。
• k個の制約をもつ多次元ナップサックに対しては、O((n/ε)^{O(k²)} log W)時間で実行され、決定的PTASを提供する。
• 整数値ナップサックに対しては、O(n⁵ (log U)² log W / ε²)時間で実行され、決定的FPTASを達成する。
• m行をもつ連関表に対しては、(n^{O(m)} (log R)/ε)^m時間で実行され、決定的FPTASをもたらす。
• このフレームワークにより、一様分布および積分布の下でk個の半空間関数の学習が1/εの多項式時間で可能となり、従来の指数的依存より改善される。
• すべての数え上げアルゴリズムは、高速なサンプリングも可能である：事前処理後、各新しいサンプルは線形に近い時間で生成可能である。