[논문 리뷰] Learning implicitly in reasoning in PAC-Semantics

Brendan Juba|arXiv (Cornell University)|2012. 09. 01.

Logic, Reasoning, and Knowledge참고 문헌 45인용 수 4

한 줄 요약

이 논문은 부분적으로 가림된 예시들로부터 배경 지식을 암묵적으로 학습함으로써 PAC-의미론 하에서 효율적인 추론을 수행하는 방법을 제시한다. 명시적인 가설을 구성하지 않고도 추론 문제를 유한 공간 증명 체계(예: 트리형 해상도)로 환원함으로써, 학습된 규칙이 완벽하지 않은 경우에도 처리 가능한 추론이 가능해지며, 일반적인 계산적 장벽을 피하면서도 애너지틱 학습과 유사한 강건성을 확보한다.

ABSTRACT

We consider the problem of answering queries about formulas of propositional logic based on background knowledge partially represented explicitly as other formulas, and partially represented as partially obscured examples independently drawn from a fixed probability distribution, where the queries are answered with respect to a weaker semantics than usual -- PAC-Semantics, introduced by Valiant (2000) -- that is defined using the distribution of examples. We describe a fairly general, efficient reduction to limited versions of the decision problem for a proof system (e.g., bounded space treelike resolution, bounded degree polynomial calculus, etc.) from corresponding versions of the reasoning problem where some of the background knowledge is not explicitly given as formulas, only learnable from the examples. Crucially, we do not generate an explicit representation of the knowledge extracted from the examples, and so the "learning" of the background knowledge is only done implicitly. As a consequence, this approach can utilize formulas as background knowledge that are not perfectly valid over the distribution---essentially the analogue of agnostic learning here.

연구 동기 및 목표

• 배경 지식이 일부는 명시적 공리로 주어지고 일부는 분포에서 추출된 부분적으로 가림된 예시들로 주어질 때 논리적 질의에 대한 효율적 추론을 가능하게 하기 위해.
• 논리적으로 반드시 성립해야 하는 것이 아니라 분포 상에서 높은 확률로 성립해야 하는 PAC-의미론 하에서의 추론 문제에 대응하기 위해.
• 명시적인 가설을 생성하지 않고도 배경 지식을 암묵적으로 학습함으로써, 애너지틱 학습의 계산적 비가역성 문제를 피하기 위해.
• 처리 가능한 증명 체계(예: 유한 공간 트리형 해상도)를 활용하여, 학습된 규칙이 완벽하지 않은 경우에도 PAC-의미론 하에서 질의의 타당성을 인증할 수 있음을 보여주기 위해.
• 불완전하거나 일관되지 않은 규칙이 존재하더라도 효율성과 정확성을 유지할 수 있음을 보여주어, 프레임 공리와 같은 실제 AI 응용 분야(예: 계획 수립)에 적합함을 입증하기 위해.

제안 방법

• PAC-의미론 하에서의 추론 문제를 공간 제한 증명 체계(예: 공간 제한 트리형 해상도 또는 유한 차수 다항식 계산법)의 결정 문제로 환원한다.
• Michael [40]의 부분 정보 모델을 사용하여, 변수의 부분 집합만 관측된 부분적으로 가림된 예시를 표현한다.
• 중복된 약화 단계를 제거하고 절대 공간을 유지하는 트리형 해상도 증명을 위한 정규형을 도입함으로써 효율적 탐색을 가능하게 한다.
• 루트에서 시작하는 경로를 탐색하는 재귀적 탐색 알고리즘(SearchSpace)을 적용하며, 더 작은 공간에서 유도 가능한 절을 우선순위로 정렬하여, O(|φ|·n²(s−1)) 시간 내에 유효한 증명을 찾는다.
• 제약 조건 적용 하에서 추론 규칙의 유지성에 기반하여, 부분 할당에서 유효한 증명이 전체 의미론 하에서도 유효함을 보장한다.
• 명시적인 가설 생성을 피함으로써, 애너지틱 학습에서 흔히 발생하는 계산적 난이도를 피하면서도, 완벽하지 않은 규칙을 처리할 수 있다.

실험 결과

연구 질문

• RQ1 배경 지식이 부분적으로 부분적으로 가림된 예시들로부터 학습된 경우, PAC-의미론 하에서의 추론을 효율적으로 수행할 수 있는가?
• RQ2 명시적으로 규칙을 학습하거나 표현하지 않더라도, 불완전하거나 일관되지 않은 규칙이 존재하는 상황에서 강건한 추론을 달성할 수 있는가?
• RQ3 유한 공간 증명 체계를 사용하여, 학습된 규칙이 분포 상에서 완벽하지 않은 경우에도 PAC-의미론 하에서 질의의 타당성을 효율적으로 인증할 수 있는가?
• RQ4 명시적인 가설 생성이 없는 것이, 애너지틱 학습에서 알려진 난이도 결과를 우회할 수 있는가?
• RQ5 이 방법이 효율적인 결정 절차를 갖춘 다양한 명제 증명 체계에 얼마나 일반화될 수 있는가?

주요 결과

• 유한 공간 증명 탐색으로 환원함으로써, 이 방법은 공간-s 트리형 해상도에 대해 O(|φ|·n²(s−1)) 시간 내에 질의의 타당성을 효율적으로 인증한다.
• 공간-s 트리형 해상도 증명을 위한 정규형이 확립되었으며, 이는 중복된 약화 단계를 제거하고 절 공간을 유지함으로써 효율적 탐색을 가능하게 한다.
• SearchSpace 알고리즘은 존재할 경우 공간-s 트리형 증명을 정확히 찾고, 그렇지 않으면 'none'을 반환하며, 제시된 시간 복잡도를 갖는다.
• 명시적인 규칙 학습 없이도 애너지틱 학습과 유사한 강건성을 달성함으로써, 일반적으로 이러한 설정에서 기대되는 계산적 비가역성 문제를 피한다.
• 대부분의 표준 명제 증명 체계(예: 유한 차수 다항식 계산법)는 효율적인 결정 알고리즘을 갖추고 있어, 요구 조건을 충족함을 보여주며 광범위한 적용 가능성을 입증한다.
• 학습된 규칙이 분포 상에서 완벽하지 않더라도 이 방법은 타당성을 유지하므로, 근사적 또는 프레임 공리와 관련된 실제 AI 응용 분야에 적합하다.