[論文レビュー] Nearest Neighbor Complexity and Boolean Circuits

Mason DiCicco, Vladimir V. Podolskii+1 more|arXiv (Cornell University)|Feb 9, 2024

Complexity and Algorithms in Graphs被引用数 1

ひとこと要約

この論文は、ブール関数の最近傍表現とミニプラス多項式しきい値関数（mpPTF）の間に深い関係を確立し、k ≤ n¹⁻⁰ のとき、明示的な関数に対するk-最近傍複雑度の新たな指数的下界を導出する。k-NN複雑度の超多項式下界を証明することは、回路複雑度の分野における画期的な進展を要することを示しており、kが無制限に許容される場合、最近傍とk-NN複雑度の間で指数的分離が成立することを示している。

ABSTRACT

A nearest neighbor representation of a Boolean function $f$ is a set of vectors (anchors) labeled by $0$ or $1$ such that $f(\vec{x}) = 1$ if and only if the closest anchor to $\vec{x}$ is labeled by $1$. This model was introduced by Hajnal, Liu, and Turán (2022), who studied bounds on the number of anchors required to represent Boolean functions under different choices of anchors (real vs. Boolean vectors) as well as the more expressive model of $k$-nearest neighbors. We initiate the study of the representational power of nearest and $k$-nearest neighbors through Boolean circuit complexity. To this end, we establish a connection between Boolean functions with polynomial nearest neighbor complexity and those that can be efficiently represented by classes based on linear inequalities -- min-plus polynomial threshold functions -- previously studied in relation to threshold circuits. This extends an observation of Hajnal et al. (2022). We obtain exponential lower bounds on the $k$-nearest neighbors complexity of explicit $n$-variate functions, assuming $k \leq n^{1-ε}$. Previously, no superlinear lower bound was known for any $k>1$. Next, we further extend the connection between nearest neighbor representations and circuits to the $k$-nearest neighbors case. As a result, we show that proving superpolynomial lower bounds for the $k$-nearest neighbors complexity of an explicit function for arbitrary $k$ would require a breakthrough in circuit complexity. In addition, we prove an exponential separation between the nearest neighbor and $k$-nearest neighbors complexity (for unrestricted $k$) of an explicit function. These results address questions raised by Hajnal et al. (2022) of proving strong lower bounds for $k$-nearest neighbors and understanding the role of the parameter $k$. Finally, we devise new bounds on the nearest neighbor complexity for several explicit functions.

研究の動機と目的

• ブール超立方体上での最近傍およびk-最近傍ルールの表現力について、ブール回路複雑度を用いて体系的に研究すること。
• Hajnalら（2022年）が提起した、k-NN複雑度に対する強い下界を証明する問題と、パラメータkの役割を理解すること。
• 最近傍表現と、線形不等式に基づく関数クラス、特にミニプラス多項式しきい値関数（mpPTF）との間の関係を確立すること。
• 離散的関数、CNF、多数派関数などの明示的な関数について、最近傍複雑度の新たな上界および下界を導出すること。
• 任意のkに対して、k-NN複雑度の超多項式下界を証明することは、回路複雑度理論における画期的な進展を要することを示すこと。

提案手法

• 最近傍（NN）およびブール最近傍（HNN）クラスの変数の代入および複製に関する閉包を導入・分析し、ミニプラス多項式しきい値関数（mpPTF）を用いて特徴付ける。
• k-NN表現へmpPTF特徴付けを拡張するため、線形形式のk統計量に関する不等式に一般化された新しいクラスkSTATを導入する。
• mpPTFおよびkSTAT特徴付けを用いて、k ≤ n¹⁻⁰ のとき、明示的なn変数関数に対してk-NN複雑度の指数的下界を導出する。
• ハミング立方体上の組合せ的および幾何的議論を用いて、HNN表現におけるアンカーポイントの数を評価し、特に関数のサポートの連結成分と関連付ける。
• 既知の回路複雑度の結果（例：離別関数に対するRazborovの下界）を活用し、必要なアンカーポイントの最小数に対するタイトな下界を導出する。
• 多項式個の節を持つが、指数的個の連結成分を持つ明示的なCNF論理式を構成し、HNN複雑度が指数的であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ブール回路複雑度における最近傍複雑度とミニプラス多項式しきい値関数（mpPTF）の関係は何か？
• RQ2 k > 1 のとき、明示的なブール関数のk-最近傍複雑度に対して指数的下界を確立できるか？
• RQ3 パラメータkはk-NNモデルの表現力にどのように影響するのか？kと複雑度のトレードオフは何か？
• RQ4 kが無制限に許容される場合、最近傍とk-最近傍複雑度の間に指数的分離が成立するか？
• RQ5 多項式的最近傍複雑度は、効率的な学習性や回路効率性をどの程度示唆するのか？

主な発見

• 変数の代入および複製に関してHNNクラス（ブール最近傍）が閉じていることの特徴付けは、多項式複雑度のミニプラス多項式しきい値関数（mpPTF）のクラスにちょうど一致する。これは、先行する包含関係の結果を拡張するものである。
• 任意の ǫ > 0 に対して、k ≤ n¹⁻⁰ のとき、任意のHNN表現において 2Ω(n) 個のアンカーポイントを必要とする明示的なn変数ブール関数が存在し、k > 1 の場合における初めての指数的下界を確立する。
• 任意の明示的関数のk-NN複雑度が超多項式的でない限り、回路複雑度の分野における画期的な進展がなければならず、k-NN表現は新しいkSTATクラスによって特徴付けられるためである。
• 多項式個の節を持つ明示的なk-CNFが存在し、任意のHNN表現において 2Ω(n) 個のアンカーポイントを必要とすることを示し、HNNとNN複雑度の指数的分離を実証する。
• 偶数個の変数を持つ多数派関数は、任意のHNN表現において正確に n/2 + 2 個のアンカーポイントを必要とし、最良に知られている上界と一致するタイトな下界を示している。
• 多項式個の節を持つCNFは、定数ビット複雑度で多項式的NN複雑度を示すことがあるが、その構造的要因により、一部のCNFは依然として指数的HNN複雑度を要することがある。