[논문 리뷰] Comparing Aggregators for Relational Probabilistic Models

Seyed Mehran Kazemi, Bahare Fatemi외 6명|arXiv (Cornell University)|2017. 07. 25.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 4

한 줄 요약

이 논문은 관계형 확률 모델을 위한 새로운 집계기법을 제안하여, 집계 과정에서 이웃 변수의 크기가 변동하는 문제를 해결한다. 기존 모델들—예를 들어 나이브 베이즈, 로지스틱 회귀, 노이즈 어려운 OR(Noisy-OR)—는 과신과 정보 손실을 겪는다. 저자들은 단순한 수정과 새로운 집계기법을 도입하여 기존 방법들보다 경험적으로 뛰어난 성능을 보이며, 특히 관계형 드롭아웃과 향상된 특징 집계를 통해 과신 문제를 효과적으로 다룬다.

ABSTRACT

Relational probabilistic models have the challenge of aggregation, where one variable depends on a population of other variables. Consider the problem of predicting gender from movie ratings; this is challenging because the number of movies per user and users per movie can vary greatly. Surprisingly, aggregation is not well understood. In this paper, we show that existing relational models (implicitly or explicitly) either use simple numerical aggregators that lose great amounts of information, or correspond to naive Bayes, logistic regression, or noisy-OR that suffer from overconfidence. We propose new simple aggregators and simple modifications of existing models that empirically outperform the existing ones. The intuition we provide on different (existing or new) models and their shortcomings plus our empirical findings promise to form the foundation for future representations.

연구 동기 및 목표

• 변수의 크기가 변동하는 다른 변수의 집합에 의존하는 관계형 확률 모델에서의 집계 과정의 근본적 과제를 탐구한다.
• 기존 집계기법—예를 들어 평균, 카운트, 또는 나이브 베이즈, 로지스틱 회귀와 같은 암시적 모델—의 한계를 규명한다. 이러한 한계는 과신과 낮은 일반화 능력으로 이어진다.
• 혼란 요인의 영향을 배제한 상태에서 다양한 집계기법, 포함해 새로운 집계기법들을 독립적으로 평가하고 비교하여 그 행동 양태와 성능을 이해한다.
• 존재하는 모델들에 대한 단순하고 효과적인 수정과 새로운 집계기법을 제안하여 관계형 학습 과제에서 예측 성능을 향상시킨다.

제안 방법

• 저자들은 제어된 문제에서 다양한 집계기법을 평가한다: 영화 평점 데이터를 이용해 사용자 성별을 예측하는 문제이며, MovieLens 60K 및 600K 데이터셋을 사용한다.
• 표준 모델들인 마르코프 논리 네트워크(MLN), 관계형 로지스틱 회귀(RLR), Problog(노이즈 어려운 OR), RDN-Boost, 행렬 분해 기법 등을 비교한다.
• 새로운 집계기법으로는 영화 평점을 특징으로 사용하고, 이웃 수를 제한하기 위해 관계형 드롭아웃을 적용한다. 이는 과신을 감소시킨다.
• 모델들은 로그우도 목적함수 기반의 확률적 경사하강법으로 학습되며, 초모수는 5겹 교차검증을 통해 조정된다.
• 모델의 예측 정확도와 校정성(정확도) 평가를 위해 평균제곱오차(MSE)와 로그우도(LL)를 모두 사용한다.
• 핵심 기여는 관계형 드롭아웃의 사용으로, 학습 중 이웃을 무작위로 마스킹함으로써 과적합과 과신을 방지한다.

실험 결과

연구 질문

• RQ1 기존의 관계형 확률 모델은 왜 이웃 수가 변동하는 집계 과제에서 일반화 성능이 떨어지는가?
• RQ2 평균, 카운트, 또는 나이브 베이즈, 로지스틱 회귀와 같은 암시적 모델 등 다양한 집계기법의 정확도와 校정성 측면에서의 성능은 어떠한가?
• RQ3 관계형 드롭아웃이나 특징 기반 집계와 같은 기존 모델의 단순한 수정이 성능 향상에 상당한 기여를 할 수 있는가?
• RQ4 과신은 모델 성능에 어떤 역할을 하는가? 그리고 아키텍처적 변경을 통해 이를 효과적으로 완화시킬 수 있는가?
• RQ5 각 영화 평점을 별개의 특징으로 간주하거나 가중치 기반 집계를 사용하는 새로운 집계기법이 기존의 수치 집계 기법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• MLN/RLR 모델에 관계형 드롭아웃을 적용한 결과, MovieLens 60K 데이터셋에서 가장 낮은 MSE(0.199)와 LL(0.849)를 기록하여 모든 다른 방법들을 압도했다.
• 관계형 드롭아웃은 특히 더 큰 MovieLens 600K 데이터셋에서 과신을 크게 감소시켰으며, 이로 인해 최고의 성능(MSE: 0.148, LL: 0.668)을 달성했다.
• Problog와 RDN-Boost는 집계 기반의 내재적 한계로 인해 성능이 열악했으며, 특히 큰 데이터셋에서 Problog는 학습 도중 충돌했다.
• 영화 평점을 특징으로 사용하는 것(예: 평점 ≥4 여부)은 이진 존재 여부 특징보다 略로 뛰어난 성능을 보였으며, 이는 평점의 크기 값이 유용한 정보를 담고 있음을 시사한다.
• 기본 모델인 '0.5 예측'은 MSE = 0.250과 LL = 1.000을 기록했으며, 심지어 단순한 모델이라도 강력한 기준 모델이 될 수 있음을 보여준다.
• 영화별 평균 평점(식 7)을 사용한 모델은 MovieLens 60K에서 MSE = 0.209, LL = 0.875를 기록하여, 특징 공학으로 성능 향상을 이룰 수 있음을 시사한다.