[논문 리뷰] Inference, Learning, and Population Size: Projectivity for SRL Models

Manfred Jaeger, Oliver Schulte|arXiv (Cornell University)|2018. 07. 02.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 7

한 줄 요약

이 논문은 통계적 관계 학습(SRL) 모델에서 경계 확률이 도메인 크기에 어떻게 의존하는지 조사하며, 다양한 인구 규모 간 추론과 학습의 안정성을 보장하기 위해 프로젝티비티(projectivity)를 공식적인 기준으로 도입한다. 마르코프 논리 네트워크(MLNs), 관계 기반 베이지안 네트워크(RBNs), ProbLog의 세 주요 SRL 프레임워크에 대해 프로젝티비티를 보장하는 문법 조건을 규명하며, 이러한 모델이 도메인 크기와 관계없이 일관된 예측을 제공함을 보여주며, 하위 네트워크로부터의 최대우도 학습의 타당성에 영향을 미친다.

ABSTRACT

A subtle difference between propositional and relational data is that in many relational models, marginal probabilities depend on the population or domain size. This paper connects the dependence on population size to the classic notion of projectivity from statistical theory: Projectivity implies that relational predictions are robust with respect to changes in domain size. We discuss projectivity for a number of common SRL systems, and identify syntactic fragments that are guaranteed to yield projective models. The syntactic conditions are restrictive, which suggests that projectivity is difficult to achieve in SRL, and care must be taken when working with different domain sizes.

연구 동기 및 목표

• 관계 모델에서 경계 확률이 도메인 크기 또는 인구 규모에 따라 달라질 수 있다는 직관에 어긋나는 문제를 다스리기 위해, 이는 강건성과 계산 효율성에 악영향을 미친다.
• 이 도메인 크기 의존성과 고전적 통계 개념인 프로젝티비티를 연결하여, 외부 노드의 존재 여부에 관계없이 하위 네트워크에 대한 예측이 일관성을 유지함을 보장한다.
• 마르코프 논리 네트워크(MLNs), 관계 기반 베이지안 네트워크(RBNs), ProbLog의 일반적인 SRL 프레임워크에서 프로젝티비티를 보장하는 문법 조각을 규명함으로써, 신뢰할 수 있는 추론과 학습을 가능하게 한다.
• 큰 네트워크에 포함된 하위 네트워크에서 최대우도 파rameter 추정이 유효하고 일관되게 유지되는 조건을 설정한다.

제안 방법

• SRL에서 프로젝티비티를 공식화하여, 더 작은 도메인 $ m $ 의 분포가 더 큰 도메인 $ n > m $ 의 근사 확률과 일치함을 보장함으로써 도메인 크기 간 일관성을 확보한다.
• 교환 가능한 관계 랜덤 구조 모델(RRSMs)을 프로젝티비티 분석의 기초로 정의하며, 상수나 고정된 도메인 순서 없이 가정한다.
• 우도 함수에 대해 분리 가능성 조건을 도입하여, 로그 우도가 크기 $ l $ 의 하위 구조들에 대해 독립적인 성분으로 분해됨을 보장함으로써 모듈러 최적화를 가능하게 한다.
• 이 분리 가능성 조건을 적용하여, 특정 문법 제약 조건 하에서 크기 $ m $ 의 하위 네트워크에서의 최대우도 추정이 크기 $ n $ 의 더 큰 네트워크에서의 추정과 일관되게 된다는 것을 증명한다.
• RBNs와 ProbLog에서 모델이 반복되는 파rameter를 피하고 프로젝티브 조각(예: 공식 내 모든 원자에서 동일한 일阶 변수를 공유)을 사용할 경우, 프로젝티비티가 성립하며, 이때 우도 함수는 $ k $-카운트 통계량에 대해 선형이고 분리 가능하다는 것을 보장한다.
• 조합론적 추론과 기대값 계산을 통해, 더 큰 도메인에서 샘플링한 하위 네트워크의 기대 로그 우도가 하위 네트워크의 로그 우도에 비례하며, 이는 최대우도 학습의 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 마르코프 논리 네트워크(MLNs)에서 어떤 문법 조건이 도메인 크기에 영향을 받지 않는 프로젝티브 모델을 생성하는가?
• RQ2 관계 기반 베이지안 네트워크(RBNs)는 모델 구조와 조합 규칙에 대한 제약 조건을 통해 프로젝티브로 만들 수 있는가?
• RQ3 완전한 네트워크가 더 클 경우, 하위 네트워크에서의 최대우도 학습은 여전히 유효한가? 어떤 조건에서 유효한가?
• RQ4 SRL 모델에서 $ k $-카운트 통계량에 대한 우도 함수의 분리 가능성은 프로젝티비티와 어떤 관련이 있는가?
• RQ5 MLNs의 프로젝티비티 조건(모든 원자에서 동일한 일阶 변수를 공유)이 자연스럽게 나타나는 도메인의 자연스러운 예는 무엇인가?

주요 결과

• 프로젝티비티는 하위 네트워크의 경계 예측이 전체 도메인 크기 변화에 영향을 받지 않음을 보장하는 강력한 조건으로, 이는 강건한 추론과 학습을 가능하게 한다.
• 논문은 마르코프 논리 네트워크(MLNs), 관계 기반 베이지안 네트워크(RBNs), ProbLog에서 프로젝티비티를 보장하는 문법 조각을 규명하지만, 이러한 조건은 제한적이므로 실무에서 프로젝티비티를 달성하는 것이 어렵다는 것을 시사한다.
• RBNs의 경우, 반복되는 파rameter를 피하고 프로젝티브 조각만 사용할 경우, 프로젝티비티가 성립하며, 이때 우도 함수는 $ k $-카운트 통계량에 대해 선형이고 분리 가능하다.
• ProbLog에서는 우도 함수가 $ k $-카운트 통계량에 대해 분리 가능하고 선형일 경우, 완전한 관측 가능성 하에서 프로젝티브 조각 제약 없이도 하위 네트워크에서의 최대우도 학습이 유효하고 일관되다.
• 크기 $ m $ 의 하위 네트워크가 크기 $ n $ 의 더 큰 네트워크에서 샘플링된 경우, 그 기대 로그 우도는 전체 네트워크의 로그 우도에 비례하며, 이는 분리 가능성 조건 하에서 하위 네트워크에서의 최대우도 학습이 타당하다는 것을 정당화한다.
• 결과적으로 프로젝티비티는 계산적이고 추론적 강건성을 향상시키지만, 모델 표현력의 감소를 수반하므로 SRL에서 유용하지만 제한적인 설계 원칙임을 시사한다.