[논문 리뷰] CD-CNN: A Partially Supervised Cross-Domain Deep Learning Model or Urban Resident Recognition

Jingyuan Wang, Xu He외 5명|arXiv (Cornell University)|2018. 04. 26.

Human Mobility and Location-Based Analysis참고 문헌 22인용 수 14

한 줄 요약

이 논문은 이동 전화 신호 데이터와 불완전한 설문지 레이블을 활용하여 도시 이주자와 정주자(거주자)를 식별하는 부분적으로 감독받는 교차 도메인 딥 러닝 모델인 CD-CNN을 제안한다. 행동을 위치 및 통신 도메인으로 분해하고, 3단계 훈련 과정(공동 훈련 포함)을 거치는 연합 컨볼루션 신경망을 사용함으로써, 무시현에서 높은 예측 정확도를 달성하여 이주자 행동에 대한 세부적인 분석을 가능하게 한다.

ABSTRACT

Driven by the wave of urbanization in recent decades, the research topic about migrant behavior analysis draws great attention from both academia and the government. Nevertheless, subject to the cost of data collection and the lack of modeling methods, most of existing studies use only questionnaire surveys with sparse samples and non-individual level statistical data to achieve coarse-grained studies of migrant behaviors. In this paper, a partially supervised cross-domain deep learning model named CD-CNN is proposed for migrant/native recognition using mobile phone signaling data as behavioral features and questionnaire survey data as incomplete labels. Specifically, CD-CNN features in decomposing the mobile data into location domain and communication domain, and adopts a joint learning framework that combines two convolutional neural networks with a feature balancing scheme. Moreover, CD-CNN employs a three-step algorithm for training, in which the co-training step is of great value to partially supervised cross-domain learning. Comparative experiments on the city Wuxi demonstrate the high predictive power of CD-CNN. Two interesting applications further highlight the ability of CD-CNN for in-depth migrant behavioral analysis.

연구 동기 및 목표

• 높은 데이터 수집 비용과 희박한 표본 추출으로 인해 이주자 행동 연구에서 개인 수준의 행동 데이터 부족 문제를 해결하기 위해.
• 이동 전화 신호 데이터를 행동 특징으로 통합함으로써 기존 설문 조사 방식의 한계를 극복하기 위해.
• 풍부한 이동 전화 데이터와 함께 설문에서 유래한 불완전한 레이블을 효과적으로 활용하는 부분적으로 감독받는 학습 프레임워크를 개발하기 위해.
• 교차 도메인 딥 러닝을 통해 이주자 행동에 대한 세분화된 개인 수준의 분석을 가능하게 하기 위해.
• 제한된 레이블 데이터로도 다양한 도메인(예: 다른 도시 또는 데이터 원천) 간에 일반화 가능한 모델을 설계하기 위해.

제안 방법

• CD-CNN는 이동 전화 데이터를 두 가지 행동 도메인으로 분해한다: 위치(공간 이동 패턴) 및 통신(통화 및 문자 활동).
• 위치 도메인과 통신 도메인에서 각각 독립적으로 특징을 추출하기 위해 두 개의 별도 컨볼루션 신경망(CNN)을 사용한다.
• 두 도메인의 표현을 정렬하고 통합하여 향상된 연합 학습을 위한 특징 균형 조정 기법을 적용한다.
• 모델은 3단계 훈련 알고리즘을 사용한다: 사전 훈련, 공동 훈련, 최적화 단계이며, 공동 훈련이 비표본 데이터를 활용하는 데 핵심적이다.
• 공동 훈련 단계에서는 각각의 도메인 전용 네트워크가 비표본 샘플에서 상대방의 가짜 레이블을 생성하여 상호 학습을 수행한다.
• 연합 학습 프레임워크는 부분적으로 감독받는 환경과 도메인 이동이 존재하더라도 모델의 일반화 능력을 보장한다.

실험 결과

연구 질문

• RQ1 불완전한 설문지 레이블과 이동 전화 신호 데이터만을 사용하여 부분적으로 감독받는 딥 러닝 모델이 도시 거주자(이주자 대비 정주자)를 효과적으로 식별할 수 있는가?
• RQ2 이동 행동을 위치 및 통신 도메인으로 분해하는 것이 식별 성능 향상에 어떤 영향을 미치는가?
• RQ3 공동 훈련 전략이 낮은 레이블 데이터 상황에서 모델 성능 향상에 얼마나 기여하는가?
• RQ4 도메인 이동과 불완전한 레이블이 존재하더라도 CD-CNN 모델이 다양한 도시 환경 간에 일반화 가능한가?
• RQ5 단순한 분류를 넘어서 모델이 학습한 표현을 통해 이주자 행동에 대한 어떤 통찰을 도출할 수 있는가?

주요 결과

• CD-CNN는 불완전한 레이블에도 불구하고 무시현에서 도시 거주자 분류에 높은 예측 정확도를 달성하여 강력한 성능을 보였다.
• 도메인 전용 CNN와 특징 균형 조정을 통한 연합 학습 프레임워크는 단일 도메인 또는 비연합 모델 대비 분류 성능을 크게 향상시켰다.
• 공동 훈련 단계는 부분적으로 감독받는 설정에서 모델 학습 효율성과 정확도를 크게 향상시켰다.
• 모델은 이진 분류를 넘어서 이주자 이동 패턴과 통신 패턴에 대한 의미 있는 패턴을 드러내는 깊이 있는 행동 분석을 가능하게 하였다.
• 비교 실험 결과, CD-CNN는 무시현 데이터셋에서 기준 모델 대비 뛰어난 예측 능력을 입증하였다.
• 두 가지 실제 응용 사례를 통해 모델이 이주자들의 이동 빈도와 사회적 상호작용 패턴과 같은 세부적인 행동 특성까지 드러내는 데 유용함을 입증하였다.