[논문 리뷰] On feature selection and evaluation of transportation mode prediction strategies

Mohammad Etemad, Amílcar Soares외 1명|arXiv (Cornell University)|2018. 08. 09.

Human Mobility and Location-Based Analysis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 궤적 기반의 이동 수단 예측을 최적화하기 위해 워퍼(wrapper) 및 정보이론적 방법을 조합한 기능 선택 프레임워크를 제안한다. 상위 20개 기능을 사용한 랜덤 포레스트 모델은 endo2016deep에 비해 69.5%의 정확도(p=0.0431)를 기록했고, dabiri2018inferring에 비해 88.5%(p=0.0796)의 정확도를 기록하여 양쪽을 모두 뛰어넘으면서도 해석 가능성과 낮은 계산 비용을 확보한다.

ABSTRACT

Transportation modes prediction is a fundamental task for decision making in smart cities and traffic management systems. Traffic policies designed based on trajectory mining can save money and time for authorities and the public. It may reduce the fuel consumption and commute time and moreover, may provide more pleasant moments for residents and tourists. Since the number of features that may be used to predict a user transportation mode can be substantial, finding a subset of features that maximizes a performance measure is worth investigating. In this work, we explore wrapper and information retrieval methods to find the best subset of trajectory features. After finding the best classifier and the best feature subset, our results were compared with two related papers that applied deep learning methods and the results showed that our framework achieved better performance. Furthermore, two types of cross-validation approaches were investigated, and the performance results show that the random cross-validation method provides optimistic results.

연구 동기 및 목표

• 기능 선택 기법을 사용하여 궤적 기반 이동 수단 예측에 최적의 기능 조합을 식별하기.
• 랜덤 포레스트 및 XGBoost와 같은 다양한 분류기의 성능을 궤적 데이터에서 이동 수단을 예측하는 데 비교하기.
• 정확도 및 계산 효율성 측면에서 최신 딥 러닝 모델들(endo2016deep 및 dabiri2018inferring)과 제안된 프레임워크를 평가하기.
• 특히 무작위 및 사용자 기반 교차 검증 전략의 영향을 분석하여 모델 평가 신뢰도를 조사하기.
• 엔드 투 엔드 표현 학습을 피하고 수작업으로 만든 인간이 이해할 수 있는 기능을 사용하여 모델의 해석 가능성 확보하기.

제안 방법

• 기능 순위 매기기 및 선택을 위해 워퍼 방법(순차적 전진 선택)과 정보이론적 방법(상호정보량 기반)을 활용하였다.
• 이동 행동을 표현하기 위해 속도 백분위수(예: $F_{p90}^{speed}$), 거리, 가속도 지표 등을 포함한 총 70개의 수작업 기반 궤적 기능을 사용하였다.
• 모델 일반화 능력을 평가하기 위해 5개의 폴드 교차 검증과 사용자 기반 교차 검증을 적용하였으며, 사용자가 한 번의 폴드에만 포함되도록 하였다.
• 워퍼 방법으로 상위 20개 기능을 선별하고, 이를 랜덤 포레스트 분류기(50개 추정기)와 함께 최종 평가에 사용하였다.
• baseline 모델들(endo2016deep 및 dabiri2018inferring)과의 성능을 통계적으로 비교하기 위해 일표본 윌콕슨 부호 순위 검정을 실시하였다.
• 데이터 누출을 방지하고 현실적인 성능 추정을 확보하기 위해 테스트 단계에서 노이즈 제거를 회피하였다.

실험 결과

연구 질문

• RQ1 궤적 데이터에서 이동 수단 예측 성능을 높이기 위해 기능 선택 방법과 분류기의 조합 중 어떤 조합이 가장 높은 정확도를 낼 수 있는가?
• RQ2 제안된 모델의 정확도 및 계산 비용 측면에서 최신 딥 러닝 모델들(endo2016deep 및 dabiri2018inferring)과 비교해 볼 때 성능는 어떻게 되는가?
• RQ3 무작위 교차 검증과 사용자 기반 교차 검증의 차이가 이동 수단 예측 모델 평가에 어떤 영향을 미치는가?
• RQ4 어떤 궤적 기능이 이동 수단 예측에 가장 예측력이 있으며, 그 이유는 무엇인가?
• RQ5 이 작업에서 해석 가능한 수작업 기반 기능이 엔드 투 엔드로 학습된 표현보다 성능이 뛰어날 수 있는가?

주요 결과

• 랜덤 포레스트 분류기가 평가된 분류기 중에서 가장 높은 정확도(69.5%)를 기록했으며, SVM에 비해 유의미하게 뛰어나고 XGBoost와 성능이 유사하였다.
• 워퍼 방법은 $F_{p90}^{speed}$를 가장 중요한 기능으로 식별하였으며, 백분위수 기반 계산으로 인해 이상치에 강건하다.
• 제안된 모델은 테스트 세트에서 69.5%의 정확도를 기록하여, endo2016deep의 67.9%보다 유의미하게 높았으며(p=0.0431), 뛰어난 성능을 입증하였다.
• dabiri2018inferring 벤치마크에서 88.5%의 정확도를 기록하여 그들이 보고한 84.8%를 초월했지만, 유의미성 수준(p<0.05)에서는 통계적으로 유의미하지 않았다(p=0.0796).
• 사용자 기반 교차 검증은 더 현실적이고 보수적인 성능 추정을 제공한 반면, 무작위 교차 검증은 사용자 간 데이터 누출로 인해 과도하게 낙관적인 결과를 낳았다.
• 수작업 기반 기능을 사용함으로써 딥 러닝 모델에 비해 더 해석 가능하고 계산 비용이 낮은 대안을 제공한다. 이러한 기능들은 이해하고 검증하기 쉬운 특징을 지닌다.