[논문 리뷰] A Learning Algorithm for Relational Logistic Regression: Preliminary Results

Bahare Fatemi, Seyed Mehran Kazemi외 1명|arXiv (Cornell University)|2016. 06. 28.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 6

한 줄 요약

이 논문은 Weka를 통한 표준 파rameter 학습과 함께 계층적 구조 학습을 통합하는 새로운 학습 알고리즘을 제안한다. 이는 관계 회귀 분석(Relational Logistic Regression, RLR)에 적용된다. RLR는 수정된 MovieLens 데이터셋에서 표준 로지스틱 회귀와 RDN-Boost보다 뛰어난 성능을 보이며, 특히 은닉 특징을 통합할 경우 더욱 두드러진다. 그러나 예측에 대한 과신 문제로 인해 평균 정규화가 필요하다.

ABSTRACT

Relational logistic regression (RLR) is a representation of conditional probability in terms of weighted formulae for modelling multi-relational data. In this paper, we develop a learning algorithm for RLR models. Learning an RLR model from data consists of two steps: 1- learning the set of formulae to be used in the model (a.k.a. structure learning) and learning the weight of each formula (a.k.a. parameter learning). For structure learning, we deploy Schmidt and Murphy's hierarchical assumption: first we learn a model with simple formulae, then more complex formulae are added iteratively only if all their sub-formulae have proven effective in previous learned models. For parameter learning, we convert the problem into a non-relational learning problem and use an off-the-shelf logistic regression learning algorithm from Weka, an open-source machine learning tool, to learn the weights. We also indicate how hidden features about the individuals can be incorporated into RLR to boost the learning performance. We compare our learning algorithm to other structure and parameter learning algorithms in the literature, and compare the performance of RLR models to standard logistic regression and RDN-Boost on a modified version of the MovieLens data-set.

연구 동기 및 목표

• 기존의 존재 기호에 의존하는 관계 학습 알고리즘의 한계를 해결하고, 관계 수를 효과적으로 포착하지 못하는 문제를 해결한다.
• 논리식의 체계적인 계층 구조를 갖춘 원리적인 방법으로 RLR에 대한 판별적 구조 학습 알고리즘을 개발한다.
• 은닉 특징을 통합함으로써 모델 정확도를 향상시키되, 예측의 과신 문제를 완화한다.
• 실제 관계 데이터셋에서 RLR의 성능을 표준 로지스틱 회귀와 RDN-Boost와 비교한다.
• 계층적 가정과 L1 정규화를 사용하여 중복된 모델 학습을 줄이고 특징 선택을 향상시키는 것이 가능함을 입증한다.

제안 방법

• Schmidt와 Murphy의 계층적 가정을 적용: 복합 공식(예: $a \land b$)을 추가할 때는 그 하위 공식($a$, $b$)이 이전 모델에서 효과가 있었음을 입증한 경우에만 허용한다.
• ALEPH를 사용해 구조 학습을 위한 후보 공식을 생성한 후, 복잡도 수준별로 계층적(L1) 정규화를 통해 특징을 선택한다.
• 공식을 지면화하여 관계적 RLR 학습 문제를 비관계적 문제로 변환한 후, Weka의 로지스틱 회귀 학습기를 적용해 파rameter 학습을 수행한다.
• 사용자 기반 통계와 같은 은닉 특징을 RLR 모델에 통합하여 예측 능력을 향상시킨다.
• 은닉 특징으로 인해 발생하는 과신 문제를 보완하기 위해 RLR 예측을 데이터 평균으로 정규화한다.
• 모델 평가를 위해 5겹 교차 검증을 사용하며, 테스트 세트에서 정확도와 평균 조건부 로그우도(ACLL)를 측정한다.

실험 결과

연구 질문

• RQ1 기존의 논리 학습기와 비교해 계층적 구조 학습 접근법이 RLR에서 효과적인 관계적 특징을 발견하는 데에 얼마나 기여하는가?
• RQ2 은닉 특징을 통합할 경우 RLR 모델의 성능과 校정성(calibration)에 어떤 영향을 미치는가?
• RQ3 RLR가 관계 데이터에서 사용자 인구통계 예측에 있어 표준 로지스틱 회귀와 RDN-Boost를 얼마나 뛰어나게 성능을 내는가?
• RQ4 계층적 정규화를 사용할 경우 모델 재학습 반복 수를 줄일 수 있으며, 성능을 유지하거나 향상시키는가?
• RQ5 복잡한 존재 기호 기반 규칙에 의존하지 않고도 RLR가 관계 수(예: 평가한 액션 영화 수)를 효과적으로 모델링할 수 있는가?

주요 결과

• 수정된 MovieLens 데이터셋에서 RLR는 표준 로지스틱 회귀와 RDN-Boost보다 높은 정확도와 더 나은 평균 조건부 로그우도(ACLL)를 달성했다.
• 은닉 특징의 통합으로 예측 정확도가 향상되고 평균 절대 오차(MAE)가 감소하여 모델의 표현력이 향상됨을 확인했다.
• 은닉 특징으로 인해 모델이 과신하게 되어 예측 확률이 0과 1 쪽으로 몰리게 되었으며, 이를 보완하기 위해 평균 정규화가 필요했다.
• 계층적 구조 학습 접근법은 각 복잡도 수준에서 특징 선택을 가능하게 하여 중복된 모델 학습을 줄였고, 이로 인해 효율성이 향상되었다.
• 기존 존재 기호 기반 모델이 이러한 집계 작업을 어려워하는 데 비해, 이 방법은 관계 수(예: 평가한 액션 영화 수)를 더 효과적으로 포착했다.
• 결과적으로 RLR의 집계 메커니즘이 기존 존재 기호에 의존하는 관계 학습 모델보다 관계 수를 모델링하는 데 더 적합하다는 점이 확인되었다.