[논문 리뷰] Conspiracies between Learning Algorithms, Circuit Lower Bounds and Pseudorandomness

Igor Carboni Oliveira, Rahul Santhanam|arXiv (Cornell University)|2016. 11. 03.

Machine Learning and Algorithms참고 문헌 48인용 수 17

한 줄 요약

이 논문은 학습 알고리즘, 회로 하한 및 근사난수성 간에 깊이 있고 놀라운 연결 고리를 확립한다. 비지수적 시간 내에서 다항식 크기의 회로에 대한 비자명한 학습이 가능하다면, 이는 준다항식 시간 내에서 강력한 학습 가능성으로 이어지며, 특정 회로 클래스에 대해 근사난수 함수가 존재한다는 것은 그 클래스를 학습할 수 없다는 것과 동치임을 보여준다.

ABSTRACT

We study the power of randomized complexity classes that are given oracle access to a natural property of Razborov and Rudich (JCSS, 1997) or its special case, the Minimal Circuit Size Problem (MCSP). We show that in a number of complexity-theoretic results that use the SAT oracle, one can use the MCSP oracle instead. For example, we show that ZPEXP^{MCSP} !subseteq P/poly, which should be contrasted with the previously known circuit lower bound ZPEXP^{NP} !subseteq P/poly. We also show that, assuming the existence of Indistinguishability Obfuscators (IO), SAT and MCSP are equivalent in the sense that one has a ZPP algorithm if and only the other one does. We interpret our results as providing some evidence that MCSP may be NP-hard under randomized polynomial-time reductions.

연구 동기 및 목표

• 학습 이론, 회로 복잡도 및 근사난수성 간의 숨겨진 연결 고리를 밝혀내기.
• 특정 회로 클래스에 대한 비자명한 학습이 비지수적 시간 내에서 강력한 학습 가능성으로 이어진다는 것을 입증하기.
• 특정 클래스 내에서 근사난수 함수가 존재하지 않는 것과 그 클래스의 학습 가능성 간의 기본적인 동치성을 보여주기.
• 비자명한 학습 알고리즘을 통해 새로운 회로 하한을 도출하기.
• 이러한 연결 고리가 최소 회로 크기 문제(MCSP)와 자연 증명에 미치는 영향을 탐색하기.

제안 방법

• 비지수적 시간 내에서의 약한 학습이 준다항식 시간 내에서의 강력한 학습으로 이어진다는 것을 보여주는 '속도 향상 보조정리'를 도입한다.
• 학습 속도 향상 기법을 활용하여 랜덤화된 학습, 압축 및 식별자 모델 간의 등가성을 확립한다.
• 학습이 근사난수 함수가 존재하지 않음을 암시한다는 원리의 비균일한 역을 적용하여, 학습 가능성과 지수적 안정성을 갖춘 근사난수 함수의 부재를 연결한다.
• 조언 기반 학습 보조정리를 활용하여 확률적 클래스에 대해 카프-립톤 스타일의 붕괴를 유도한다.
• 진리표 감소를 통해 MCSP를 TC0-난이도 문제로 감소시켜, MCSP ∈ TC0 이면 NC1 = TC0 임을 보여준다.
• 최악의 경우에서 평균의 경우로의 감소 및 무작위 자기감소를 활용하여 복잡도 클래스 간의 딱지성을 전이한다.

실험 결과

연구 질문

• RQ1 특정 회로 클래스에 대한 비자명한 학습 알고리즘이 비지수적 시간 내에서 강력한 학습 가능성으로 이어질 수 있는가?
• RQ2 근사난수 함수의 존재성과 특정 회로 클래스의 학습 가능성 간에 근본적인 동치성이 존재하는가?
• RQ3 학습 알고리즘을 통해 새로운 회로 하한을 도출할 수 있는가?
• RQ4 MCSP와 TC0와 같은 저수준의 회로 클래스 간의 관계는 무엇인가?
• RQ5 학습, 만족 가능성 및 결정론화 간의 연결 고리를 일반적 프레임워크로 통합할 수 있는가?

주요 결과

• 만약 C[poly(n)]에 대해 시간 2^n / n^ω(1) 내에서 작동하는 랜덤화된 약한 학습 알고리즘이 존재한다면, 임의의 ε > 0에 대해 시간 O(2^{n^ε}) 내에서 C[n^k]를 높은 정확도로 학습할 수 있다.
• ε > 0 이 존재하여 C[2^{n^ε}]가 시간 2^n / n^ω(1) 내에서 학습 가능하다면, 그리고 그뿐 아니라 C[poly(n)]가 시간 2^{(log n)^O(1)} 내에서 학습 가능하다면, 이 두 조건은 동치이다.
• 비균일 설정에서 C[poly(n)]에 대한 비자명한 학습 가능성은 C[poly(n)] 내에 지수적 안정성을 갖춘 근사난수 함수가 존재하지 않는 것과 동치이다.
• 만약 (깊이-d)-C[n^k]가 시간 2^n / n^ω(1) 내에서 멤버십 질의를 사용하는 약한 학습 알고리즘을 갖는다면, 모든 k ≥ 1에 대해 BPE ⊈ (depth-d)-C[n^k]이다.
• 만약 어떤 ε > 0에 대해 P-자연 증명이 C[2^{n^ε}]에 대해 유용하다면, ZPEXP ⊈ C[poly(n)]이다.
• 비균일 NC1 내의 모든 함수는 TC0-계산 가능한 진리표 감소를 통해 MCSP로 감소한다; 따라서 MCSP ∈ TC0 이면 NC1 = TC0 이다.