[논문 리뷰] PAC Quasi-automatizability of Resolution over Restricted Distributions

Brendan Juba|arXiv (Cornell University)|2013. 04. 16.

Machine Learning and Algorithms참고 문헌 28인용 수 3

한 줄 요약

이 논문은 제한된 분포, 특히 상관 갭을 가진 분포(예: 학습된 파리티를 일반화하는 애파인 분포)를 바탕으로 추론할 때, PAC-의미론 하에서 해상도 증명 탐색을 준자동화할 수 있음을 보여준다. 이는 다항 시간에 가까운 시간 내에 수행될 수 있다. 주요 기여는 부분 예제와 폭 제한된 절 학습을 활용하여 효율적으로 해상도 증명을 탐지하는 새로운 알고리즘을 제안한 것이다. 이는 고전적 설정에서 알려진 하한을 극복한다.

ABSTRACT

We consider principled alternatives to unsupervised learning in data mining by situating the learning task in the context of the subsequent analysis task. Specifically, we consider a query-answering (hypothesis-testing) task: In the combined task, we decide whether an input query formula is satisfied over a background distribution by using input examples directly, rather than invoking a two-stage process in which (i) rules over the distribution are learned by an unsupervised learning algorithm and (ii) a reasoning algorithm decides whether or not the query formula follows from the learned rules. In a previous work (2013), we observed that the learning task could satisfy numerous desirable criteria in this combined context -- effectively matching what could be achieved by agnostic learning of CNFs from partial information -- that are not known to be achievable directly. In this work, we show that likewise, there are reasoning tasks that are achievable in such a combined context that are not known to be achievable directly (and indeed, have been seriously conjectured to be impossible, cf. (Alekhnovich and Razborov, 2008)). Namely, we test for a resolution proof of the query formula of a given size in quasipolynomial time (that is, "quasi-automatizing" resolution). The learning setting we consider is a partial-information, restricted-distribution setting that generalizes learning parities over the uniform distribution from partial information, another task that is known not to be achievable directly in various models (cf. (Ben-David and Dichterman, 1998) and (Michael, 2010)).

연구 동기 및 목표

• PAC-의미론 하에서 학습과 추론을 통합된 프레임워크로 결합하여 불완전한 데이터에 대한 추론 문제를 해결하기 위해.
• 예제가 부분적으로 관찰되고 제한된 분포에서 추출될 때 해상도 증명 탐색이 효율적으로 자동화될 수 있는지 조사하기 위해.
• 고전적 설정에서 불가능하다고 추측되는 해상도 자동화의 알려진 어려움을 극복하기 위해.
• 해상도 증명의 처리 가능성 범위를 허니 클로즈와 같은 제한된 증명 조각(예: 허니 절)을 넘어서 일반적인 DAG-유형 해상도로 확장하기 위해.
• 부분 정보에서의 학습이 고전적 두 단계 학습-추론 모델에서 불가능한 추론 작업을 가능하게 할 수 있는지 탐색하기 위해.

제안 방법

• 알고리즘은 예제가 마스킹 프로세스 $ M_{\mu} $ 를 통해 부분적으로 노출되는 제한된 분포 모델에서 작동한다. 여기서 각 리터럴은 독립적으로 확률 $ \mu $ 로 노출된다.
• 폭이 제한된 절 학습 전략을 사용하여 부분 예제에서 저폭 공식 $ \psi $ 를 학습한다. 이는 진정한 기저 공식을 근사한다.
• Hoeffding의 부등식을 적용하여 학습된 공식에서 위반된 절이 탐지될 확률을 제한함으로써, 높은 확률로 정확성을 보장한다.
• 분포의 상관 갭 성질을 활용하여, 어떤 해상도 증명이라도 낮은 폭의 근사 버전을 가지며, 이는 부분 예제를 통해 탐지될 수 있음을 보장한다.
• 학습된 공식에 있는 위반 절이 충분한 빈도로 부분 예제에서 관찰되는지 확인하여 해상도 증명의 존재 여부를 검증한다.
• PAC 학습과 증명 복잡도 기법을 결합하여, 애파인 분포의 구조를 활용해 효율적인 증명 탐지가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 예제가 부분적으로 관찰되고 제한된 분포에서 추출될 때, 해상도 증명 탐색이 준다항 시간 내에 준자동화될 수 있는가?
• RQ2 기저 분포에 상관 갭이 존재하면, 정보가 불완전한 상황에서도 해상도 증명 탐지가 효율적으로 가능할 수 있는가?
• RQ3 학습과 추론을 통합한 작업이 고전적 두 단계 학습-추론 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ4 고전적 자동화 가능성은 불가능하다고 여겨지는 상황에서도, 일반 해상도에 대해 PAC-의미론 하에서 준자동화가 달성 가능한가?
• RQ5 이 결과는 커팅 플레인 또는 해상도를 포함한 다항식 미분법과 같은 더 강력한 증명 체계로 확장될 수 있는가?

주요 결과

• 상관 갭을 가진 분포 위에서 PAC-의미론 하에서 일반적이고 DAG-형 해상도의 준자동화가 준다항 시간 내에 달성된다.
• 높은 확률로 부분 예제를 사용하여 학습된 공식에 있는 위반 절의 존재를 확인함으로써, 알고리즘이 해상도 증명을 성공적으로 탐지한다.
• 타겟 공식의 절들이 폭이 유한하다는 가정 하에, 잘못된 쿼리를 정확히 기각할 확률은 최소 $ 1 - \delta $ 이상이다.
• 폭이 $ w $ 이하인 각 절이 최소 $ \mu^w $ 확률로 완전히 노출된다는 사실을 활용하여, $ w = \Omega(\log n) $ 일 때 위반 절을 상수 확률로 탐지할 수 있다.
• 폭이 $ w $ 인 리터럴 집합이 열악하지 않은 확률로 노출되는 마스킹 프로세스로도 결과가 일반화되며, 이는 $ w $-독립 분포를 포함한다.
• 이 작업은 PAC-의미론 하에서 추론이 고전적 설정보다 더 쉬울 수 있음을 시사한다. 왜냐하면 알려진 해상도 자동화 하한을 우회하기 때문이다.