[논문 리뷰] Social Discrete Choice Models

Danqing Zhang, Kimon Fountoulakis외 3명|arXiv (Cornell University)|2017. 03. 22.

Recommender Systems and Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 사회적 네트워크 구조와 잠재 사용자 집단을 통합하여 개인의 선택을 예측하는 데 개선을 이룬 두 가지 확장 가능한 그래프 정규화 이산 선택 모델—로컬 로지스틱 그래프 정규화(LLGR) 및 잠재 클래스 그래프 정규화(LCGR)—를 제안한다. 이 모델들은 합성 데이터, 실세계 데이터, 대규모 사회 네트워크 데이터에서 기존 표준 방법보다 뛰어난 성능을 보이며, 특히 관찰 가능한 특성 외에 동료 행동이 영향을 미치는 경우에 특히 유리하다.

ABSTRACT

Human decision making underlies data generating process in multiple application areas, and models explaining and predicting choices made by individuals are in high demand. Discrete choice models are widely studied in economics and computational social sciences. As digital social networking facilitates information flow and spread of influence between individuals, new advances in modeling are needed to incorporate social information into these models in addition to characteristic features affecting individual choices. In this paper, we propose two novel models with scalable training algorithms: local logistics graph regularization (LLGR) and latent class graph regularization (LCGR) models. We add social regularization to represent similarity between friends, and we introduce latent classes to account for possible preference discrepancies between different social groups. Training of the LLGR model is performed using alternating direction method of multipliers (ADMM), and training of the LCGR model is performed using a specialized Monte Carlo expectation maximization (MCEM) algorithm. Scalability to large graphs is achieved by parallelizing computation in both the expectation and the maximization steps. The LCGR model is the first latent class classification model that incorporates social relationships among individuals represented by a given graph. To evaluate our two models, we consider three classes of data to illustrate a typical large-scale use case in internet and social media applications. We experiment on synthetic datasets to empirically explain when the proposed model is better than vanilla classification models that do not exploit graph structure. We also experiment on real-world data, including both small scale and large scale real-world datasets, to demonstrate on which types of datasets our model can be expected to outperform state-of-the-art models.

연구 동기 및 목표

• 기존 이산 선택 모델이 의사결정 과정에서 사회적 영향과 네트워크 구조를 忽시하는 한계를 해결하기 위해.
• 사회 네트워크 데이터를 개인 특성과 통합하여 선택을 예측할 수 있는 확장 가능하고 계산 효율적인 모델을 개발하기 위해.
• 잠재 클래스가 사회 네트워크 내에서 집단 수준의 선호도 차이를 어떻게 포착할 수 있는지 탐구하기 위해.
• 합성 데이터, 소규모 실세계 데이터, 대규모 인터넷 데이터 등 다양한 데이터셋에서 모델 성능을 평가하여 최신 기술 대비 우수성과 강인성을 입증하기 위해.

제안 방법

• 로지스틱 회귀에 그래프 기반 정규화 항을 추가하여 연결된 개인 간 유사성을 강제하는 로컬 로지스틱 그래프 정규화(LLGR)를 제안한다.
• LLGR 모델의 스케일러블하고 병렬 처리 가능한 학습을 위해 분할 상향 최적화 방법(ADMM)을 활용한다. 이는 대규모 그래프에서 효율적인 최적화를 가능하게 한다.
• 잠재 클래스 구조를 통합한 믹스처 모델인 잠재 클래스 그래프 정규화(LCGR)를 도입하여 집단별 특화된 선호도를 포착한다.
• LCGR 학습을 위해 특수화된 몬테카를로 기대값 최대화(MCEM) 알고리즘을 사용하며, 그래프를 커뮤니티로 분할하여 블록 MCMC 샘플링을 통해 계산을 가속화한다.
• MCEM의 E단계와 M단계 모두에서 병렬 처리를 적용하여 대규모 그래프에 대한 LCGR의 확장성을 높이고 계산 효율성을 향상시킨다.
• 효율적인 블록 기반 MCMC 샘플링을 가능하게 하기 위해 커뮤니티 탐지 사전 처리 단계를 통합하여 잠재 변수에 대한 마진화 계산 부담을 감소시킨다.

실험 결과

연구 질문

• RQ1 사회 네트워크 구조를 통합할 경우, 개인 특성 외의 요소만으로는 예측이 어려운 상황에서, 그래프 공간에서의 클러스터링이 선택 예측에 얼마나 유의미하게 기여하는가?
• RQ2 LCGR 모델의 잠재 클래스가 개인 수준 모델에서는 드러나지 않는 집단 수준의 선호도 패턴을 어떻게 포착하는가?
• RQ3 높은 연결도와 큰 연결 성분을 가진 대규모 실세계 네트워크에서, 제안된 모델이 최신 기술 기반의 半-초신화 그래프 기반 분류 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 클래스 연결도(β)와 선택 선호도(w)와 같은 하이퍼파rameter가 이상화된 환경과 실세계 설정 모두에서 모델 성능에 미치는 영향은 어떠한가?
• RQ5 청소년 흡연과 같은 사례에서, 동료 행동과 같은 사회적 영향력이 네트워크 구조를 忽시하는 모델 대비 모델의 예측 정확도에 얼마나 명확하게 반영되는가?

주요 결과

• 합성 데이터에서, 특성 공간에서는 분리가 어려운 레이블이 그래프 공간에서는 클러스터링되어 있는 경우, 제안된 모델이 순수 분류 모델보다 뛰어난 성능을 보이며 사회적 구조의 가치를 입증한다.
• 1995–1997년 청소년 흡연 데이터셋에서 LCGR 모델은 사회적 규범이 흡연 행동에 지배적인 영향을 미친 1997년에 비사회적 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 온라인 소매 계정 그래프에서의 대규모 사기 탐지 작업에서, 제안된 모델은 다른 반-초신화 그래프 방법보다 뛰어난 강인성을 보였으며, 평균 차수와 큰 연결 성분을 가진 그래프에서 특히 유리했다.
• ADMM 기반 병렬 처리 덕분에 LLGR 모델은 높은 확장성을 확보하여 대규모 그래프에 적합하며, LCGR는 계산 복잡도가 높지만 더 높은 성능을 제공한다.
• 커뮤니티 분할 기반 블록 MCMC 샘플링은 계산 시간을 크게 감소시켰으며, 페이스북 에고 네트워크에서 표준 MCMC 및 블록 전용 MCMC 대비 병렬 블록 MCMC가 뚜렷한 속도 향상을 보였다.
• 모델들은 사회적 영향력과 잠재적 집단 구조가 생활 방식 선택(흡연, 자전거 타기, 과식 등)을 모델링하는 데 핵심적임을 입증하였으며, 개인 특성 외에 동료 행동이 결정에 영향을 미친다.