[논문 리뷰] Learning first-order definable concepts over structures of small degree

Martin Grohe, Martin Ritzert|arXiv (Cornell University)|2017. 06. 20.

Machine Learning and Algorithms참고 문헌 28인용 수 14

한 줄 요약

이 논문은 배경 구조 위에서 일阶논리 공식으로 정의된 개념을 갖는 기제적 기계학습 프레임워크를 제안한다. 배경 구조의 차수(도수)가 다항로그 함수 수준일 경우, 이러한 개념들은 다항로그 시간 내에 PAC-학습 가능하다는 것을 보여주며, 희박한 관계적 데이터에 대한 학습에서 강력한 효율성 보장을 확립한다.

ABSTRACT

We consider a declarative framework for machine learning where concepts and hypotheses are defined by formulas of a logic over some structure. We show that within this framework, concepts defined by first-order formulas over a background structure of at most polylogarithmic degree can be learned in polylogarithmic time in the probably approximately correct learning sense.

연구 동기 및 목표

• 배경 구조 위에서 일阶논리 공식으로 정의된 개념을 갖는 기제적 기계학습 프레임워크를 개발한다.
• PAC 학습 관점에서 일阶논리로 정의 가능한 개념의 계산 복잡도를 조사한다.
• 효율적인 학습을 가능하게 하는 배경 구조의 구조적 조건을 특정한다.
• 배경 구조의 다항로그 차수가 다항로그 시간 내 학습을 가능하게 한다는 것을 입증한다.

제안 방법

• 고정된 배경 구조 위에서 개념을 정의하는 일阶논리 공식을 식별하는 것으로 학습을 형식화한다.
• 희박성 보장을 위해 차수가 최대 다항로그 수준인 구조로 분석을 국한한다.
• PAC 학습 이론을 적용하여 일阶논리로 정의 가능한 개념의 샘플 및 시간 복잡도를 분석한다.
• 저차수 그래프의 구조적 성질을 활용하여 개념 학습의 복잡도를 근사한다.
• 논리적 정의 가능성과 조합적 경계를 활용하여 시간 복잡도 결과를 도출한다.
• 필요한 예시 수와 학습에 소요되는 시간이 입력 크기의 다항로그 함수 비례함을 입증한다.

실험 결과

연구 질문

• RQ1 저차수 구조 위에서 일阶논리로 정의 가능한 개념은 PAC 관점에서 효율적으로 학습될 수 있는가?
• RQ2 배경 구조의 어떤 구조적 성질이 다항로그 시간 내 학습을 가능하게 하는가?
• RQ3 구조의 차수가 샘플 및 시간 복잡도에 어떤 영향을 미치는가?
• RQ4 일阶논리 개념 학습이 다항로그 시간 내에서 가능해지는 관계적 구조의 클래스가 존재하는가?

주요 결과

• 다항로그 차수를 갖는 구조 위에서 일阶논리로 정의 가능한 개념은 PAC 학습 모델 하에서 다항로그 시간 내에 학습 가능하다.
• 입력 크기의 다항로그 함수에 비례하는 상한선 내에서 학습 시간 복잡도가 제한된다. 이는 구조가 크더라도 성립한다.
• 기본적인 PAC 학습 가정(오차 및 신뢰도 제한) 하에서도 결과가 성립한다.
• 희박성(저차수)은 다항로그 시간 상한선을 달성하는 데 필수적이다.
• 구조의 차수가 다항로그 수준이라면 임의의 관계적 구조에 대해 학습이 가능하다.
• 희박하고 구조화된 데이터에 대한 효율적 학습을 위한 이론적 기반을 제공한다.