[논문 리뷰] Fusing Multifaceted Transaction Data for User Modeling and Demographic Prediction

Yehezkel S. Resheff, Moni Shahar|arXiv (Cornell University)|2017. 12. 19.

Authorship Attribution and Profiling참고 문헌 8인용 수 4

한 줄 요약

이 논문은 성별, 결혼 상태, 교육 수준 예측을 위한 다중 작업 디지털 예측을 위해 다수의 범주형 거래 데이터 시퀀스(예: 상업자 유형 및 거래 카테고리)와 보조적 인적관계 데이터를 융합하는 엔드 투 엔드 딥 러닝 방법을 제안한다. 이 방법은 학습된 임베딩과 일찍 중단 기법을 사용하여 성별, 결혼 상태, 교육 수준 예측에서 최신 기술 수준의 성능을 달성하며, 기준 모델들보다 몇 점수 포인트 높은 성능을 기록한다.

ABSTRACT

Inferring user characteristics such as demographic attributes is of the utmost importance in many user-centric applications. Demographic data is an enabler of personalization, identity security, and other applications. Despite that, this data is sensitive and often hard to obtain. Previous work has shown that purchase history can be used for multi-task prediction of many demographic fields such as gender and marital status. Here we present an embedding based method to integrate multifaceted sequences of transaction data, together with auxiliary relational tables, for better user modeling and demographic prediction.

연구 동기 및 목표

• 개인정보 보호 제약과 불완전한 사용자 제공 데이터로 인해 성별, 결혼 상태, 교육 수준 등의 민감한 디지털 속성을 거래 데이터에서 유추하는 데 도전하는 것.
• 거래 시퀀스를 디지털 정보의 대체 수단으로 활용하여 금융 응용 분야의 사용자 모델링을 향상시키는 것.
• 이질적인 거래 시퀀스와 구조화된 인적관계 데이터를 통합하여 다중 작업 디지털 예측을 위한 통합형 엔드 투 엔드 프레임워크를 개발하는 것.
• 직접 개인화를 위한 목적 외에도, 삶의 전환점 또는 계정 유출를 탐지하기 위해 학습된 사용자 표현의 유용성을 탐색하는 것.

제안 방법

• 이 방법은 범주형 거래 요소(예: 상업자 ID 등)를 조밀한 벡터 표현으로 매핑하는 임베딩 함수를 사용하며, 시퀀스 수준 표현은 요소 임베딩의 평균을 통해 형성된다.
• 각 거래 시퀀스는 학습된 임베딩에 대한 평균 풀링을 통해 고정 크기의 벡터로 변환되어 후속 모델링에 일관된 입력 크기를 보장한다.
• 사용자 표현은 임bedded된 시퀀스와 보조적 인적관계 특징(예: 계좌 유형, 소득 등)을 연결한 후, 완전히 연결된 피드포워드 네트워크를 통해 형성된다.
• 모델은 공유된 사용자 표현을 사용하여 다수의 디지털 속성(예: 성별, 교육 수준 등)을 동시에 예측하기 위해 다중 작업 학습을 활용한다.
• 임베딩 이후 1~2개의 완전히 연결된 레이어로도 충분하며, 이는 대부분의 표현 능력이 시퀀스 임베딩 메커니즘에 기인함을 시사한다.
• 모델은 500 에포크 동안 일찍 중단 기법을 사용하여 엔드 투 엔드로 훈련되며, 두 가지 변형이 평가된다: 다중 작업 훈련 및 타겟 별 미세조정.

실험 결과

연구 질문

• RQ1 범주형 거래 데이터의 다수의 시퀀스를 인적관계 데이터와 효과적으로 융합하여 디지털 속성 예측 정확도를 향상시킬 수 있는가?
• RQ2 공유 표현을 사용한 다중 작업 학습은 타겟 별 미세조정 대비 과적합을 줄이고 일반화 능력을 향상시키는가?
• RQ3 임베딩 크기 및 네트워크 깊이와 같은 설계 선택 사항이 디지털 속성 예측 성능에 어떤 영향을 미치는가?
• RQ4 학습된 사용자 표현이 직접적인 디지털 유추 외에도 삶의 전환점 또는 계정 유출를 탐지하는 데 얼마나 유용한가?
• RQ5 이 방법은 사용자 모델링을 위한 원시 거래 데이터 사용의 개인정보 보호에 기여하는 대안이 될 수 있는가?

주요 결과

• 제안된 방법은 성별 및 결혼 상태 예측에서 몇 점수 포인트의 향상을 기록하며 교육 수준 예측에서는 1% 미만의 향상으로, 세 가지 기준 모델(argin-max, 스태킹, PCA)을 모두 초월한다.
• 다중 작업 모델은 타겟 별 미세조정 대비 더 높은 성능을 기록하며, 공동 최적화가 과적합을 줄이는 정규화 효과를 제공함을 시사한다.
• 임베딩 크기를 10에서 50으로 늘일 때 가장 큰 성능 향상이 발생하며, 100으로 더 늘릴 경우는 근소한 향상만 제공한다.
• 임베딩 이후 1~2개의 완전히 연결된 레이어로도 충분하며, 이는 시퀀스 임베딩 메커니즘이 대부분의 표현 능력을 담고 있음을 시사한다.
• 미세조정 없이도 높은 정확도를 유지하며, 다양한 디지털 속성에 걸쳐 결과가 강인하다.