[논문 리뷰] Nearest Neighbor Complexity and Boolean Circuits

Mason DiCicco, Vladimir V. Podolskii외 1명|arXiv (Cornell University)|2024. 02. 09.

Complexity and Algorithms in Graphs인용 수 1

한 줄 요약

이 논문은 부울 함수의 최근접 이웃 표현과 최소-플러스 다항식 임계값 함수(mPPTF) 사이의 깊은 연결을 확립하여, k ≤ n¹⁻⁰ 일 때 명시적 함수에 대한 k-최근접 이웃 복잡도에 대한 새로운 지수적 하한을 도출한다. 또한 초수학적 k-NN 복잡도 하한을 증명하기 위해서는 회로 복잡도 이론에서의 돌풍이 필요하며, 제한되지 않은 k에 대해 최근접 이웃과 k-NN 복잡도 사이에 지수적 분리가 존재함을 보여준다.

ABSTRACT

A nearest neighbor representation of a Boolean function $f$ is a set of vectors (anchors) labeled by $0$ or $1$ such that $f(\vec{x}) = 1$ if and only if the closest anchor to $\vec{x}$ is labeled by $1$. This model was introduced by Hajnal, Liu, and Turán (2022), who studied bounds on the number of anchors required to represent Boolean functions under different choices of anchors (real vs. Boolean vectors) as well as the more expressive model of $k$-nearest neighbors. We initiate the study of the representational power of nearest and $k$-nearest neighbors through Boolean circuit complexity. To this end, we establish a connection between Boolean functions with polynomial nearest neighbor complexity and those that can be efficiently represented by classes based on linear inequalities -- min-plus polynomial threshold functions -- previously studied in relation to threshold circuits. This extends an observation of Hajnal et al. (2022). We obtain exponential lower bounds on the $k$-nearest neighbors complexity of explicit $n$-variate functions, assuming $k \leq n^{1-ε}$. Previously, no superlinear lower bound was known for any $k>1$. Next, we further extend the connection between nearest neighbor representations and circuits to the $k$-nearest neighbors case. As a result, we show that proving superpolynomial lower bounds for the $k$-nearest neighbors complexity of an explicit function for arbitrary $k$ would require a breakthrough in circuit complexity. In addition, we prove an exponential separation between the nearest neighbor and $k$-nearest neighbors complexity (for unrestricted $k$) of an explicit function. These results address questions raised by Hajnal et al. (2022) of proving strong lower bounds for $k$-nearest neighbors and understanding the role of the parameter $k$. Finally, we devise new bounds on the nearest neighbor complexity for several explicit functions.

연구 동기 및 목표

• 부울 하이퍼큐브에서 최근접 이웃 및 k-최근접 이웃 규칙의 표현 능력을 부울 회로 복잡도를 통해 체계적으로 연구하기 위해.
• Hajnal 등(2022)이 제기한, k-NN 복잡도에 대해 강력한 하한을 증명하고 매개변수 k의 역할을 이해하는 데 있어 열려 있는 문제들을 해결하기 위해.
• 최근접 이웃 표현과 선형 부등식 기반의 함수 클래스, 특히 최소-플러스 다항식 임계값 함수(mPPTF) 사이의 연결 고리를 설정하기 위해.
• 이산성, CNF, 다수결과 같은 명시적 함수에 대해 최근접 이웃 복잡도의 새로운 상한 및 하한을 유도하기 위해.
• 임의의 k에 대해 초수학적 k-NN 복잡도 하한을 증명하기 위해서는 회로 복잡도 이론에서의 중대한 진전이 필요함을 보여주기 위해.

제안 방법

• 최근접 이웃(NN) 및 부울 최근접 이웃(HNN) 클래스의 변수 치환 및 복제에 대한 닫힘 성질을 도입하고 분석하며, 이를 최소-플러스 다항식 임계값 함수(mPPTF)를 통해 특성화하기 위해.
• k-NN 표현으로의 mPPTF 특성화를 확장하기 위해, 선형 형식의 k-통계량에 대한 부등식으로 일반화된 새로운 클래스인 kSTAT를 도입하기 위해.
• mPPTF 및 kSTAT 특성화를 활용하여, k ≤ n¹⁻⁰ 일 때 명시적 n-변수 함수에 대해 k-NN 복잡도에 대한 지수적 하한을 도출하기 위해.
• 해밍 큐브에서의 조합론적 및 기하학적 추론을 적용하여 HNN 표현에서 필요한 앵커의 수를 근사하기 위해, 특히 함수의 지지 집합의 연결 성분과의 관련성을 고려하기 위해.
• 기존의 회로 복잡도 결과(예: 이산성에 대한 Razborov의 하한)를 활용하여 최소 앵커 수에 대한 날카운 하한을 도출하기 위해.
• 다양한 연결 성분을 가진 다항식 수의 절댓값을 가지는 명시적 CNF 공식을 구성하여, HNN 복잡도가 지수적으로 증가함을 입증하기 위해.

실험 결과

연구 질문

• RQ1 부울 회로 복잡도 이론에서 최근접 이웃 복잡도와 최소-플러스 다항식 임계값 함수(mPPTF) 사이의 관계는 무엇인가?
• RQ2 k > 1 일 때 명시적 부울 함수의 k-최근접 이웃 복잡도에 대해 지수적 하한을 확립할 수 있는가?
• RQ3 매개변수 k는 k-NN 모델의 표현 능력에 어떻게 영향을 미치며, k와 복잡도 사이의 상충 관계는 어떠한가?
• RQ4 제한되지 않은 k에 대해 최근접 이웃 복잡도와 k-최근접 이웃 복잡도 사이에 지수적 분리가 존재할 수 있는가?
• RQ5 다항식 최근접 이웃 복잡도는 효율적인 학습 가능성 또는 회로 효율성과 어느 정도 관련이 있는가?

주요 결과

• 변수 치환 및 복제에 대해 HNN 클래스(부울 최근접 이웃)의 닫힘은 정확히 다항식 복잡도를 가진 최소-플러스 다항식 임계값 함수(mPPTF)의 클래스와 일치하며, 이는 이전의 포함 결과를 확장한다.
• 모든 ǫ > 0 에 대해, k ≤ n¹⁻⁰ 일 때 어떤 명시적 n-변수 부울 함수도 HNN 표현에서 2Ω(n)개의 앵커를 요구함을 보여, k > 1 일 때 지수적 하한을 처음으로 확립한다.
• 모든 명시적 함수의 k-NN 복잡도는 회로 복잡도 이론에서의 돌풍이 일어나지 않는 한 초수학적일 수 없으며, k-NN 표현은 새로운 kSTAT 클래스로 특성화되어 있음을 의미한다.
• 다항식 수의 절댓값을 가지는 명시적 k-CNF가 존재하며, 이는 어떤 HNN 표현에서도 2Ω(n)개의 앵커를 요구함을 보여, HNN 복잡도와 NN 복잡도 사이에 지수적 분리를 입증한다.
• 짝수 개의 변수를 가진 다수결 함수는 어떤 HNN 표현에서도 정확히 n/2 + 2개의 앵커를 요구함을 보여, 기존에 알려진 최상의 상한과 정확히 일치하는 날카운 하한을 입증한다.
• 다항식 수의 절댓값을 가지는 CNF는 다항식 NN 복잡도와 상수 수준의 비트 복잡도를 가질 수 있지만, 일부는 그 성분의 구조로 인해 여전히 지수적 HNN 복잡도를 요구한다.