[논문 리뷰] High Enough? Explaining and Predicting Traveler Satisfaction Using Airline Review

Emanuel Lacić, Dominik Kowald외 1명|arXiv (Cornell University)|2016. 04. 04.

Consumer Market Behavior and Pricing참고 문헌 14인용 수 5

한 줄 요약

이 연구는 스카이트랙스에서 수집한 항공사 리뷰를 분석하여 평점 특성과 자유형 텍스트 리뷰의 정서 분석을 활용해 여행자 만족도를 설명하고 예측한다. 연구는 리뷰 텍스트의 정서와 라운지 편안함, 좌석 다리 공간 등 핵심 서비스 요소가 높은 정확도로 만족도를 예측함을 입증하며, 허프딩 트리와 같은 점진적 학습 모델이 최소 지연으로 실시간 예측을 가능하게 한다.

ABSTRACT

Air travel is one of the most frequently used means of transportation in our every-day life. Thus, it is not surprising that an increasing number of travelers share their experiences with airlines and airports in form of online reviews on the Web. In this work, we thrive to explain and uncover the features of airline reviews that contribute most to traveler satisfaction. To that end, we examine reviews crawled from the Skytrax air travel review portal. Skytrax provides four review categories to review airports, lounges, airlines and seats. Each review category consists of several five-star ratings as well as free-text review content. In this paper, we conducted a comprehensive feature study and we find that not only five-star rating information such as airport queuing time and lounge comfort highly correlate with traveler satisfaction but also textual features in the form of the inferred review text sentiment. Based on our findings, we created classifiers to predict traveler satisfaction using the best performing rating features. Our results reveal that given our methodology, traveler satisfaction can be predicted with high accuracy. Additionally, we find that training a model on the sentiment of the review text provides a competitive alternative when no five star rating information is available. We believe that our work is of interest for researchers in the area of modeling and predicting user satisfaction based on available review data on the Web.

연구 동기 및 목표

• 항공사 리뷰에서 여행자 만족도에 기여하는 가장 유의미한 특성—평가 기반 특성과 텍스트 기반 특성—을 규명하기 위해.
• 자유형 텍스트 리뷰에서 추출한 정서가 종합적인 여행자 만족도를 효과적으로 예측할 수 있는지 조사하기 위해.
• 가용한 리뷰 데이터를 활용해 만족도를 예측하는 기계 학습 모델을 개발하고 평가하기 위해, 특히 평점 데이터가 누락된 경우에도 적용 가능하도록 하기 위해.
• 스트리밍 리뷰 데이터에 적합한 점진적 학습 알고리즘을 활용해 실시간 만족도 예측을 가능하게 하기 위해.
• 주제 모델링의 잠재력을 탐색하여 기존 평점 체계에 사용자 기반의 새로운 특성들을 추가할 수 있는 가능성을 탐색하기 위해.

제안 방법

• 스카이트랙스 포털에서 160,400건 이상의 항공사 리뷰를 수집하고 분석하였으며, 공항, 라운지, 항공사, 좌석의 네 가지 카테고리에 해당한다.
• 5점 만점 평점 특성(예: 대기 시간, 기내 승무원 품질, 다리 공간)을 추출하고, 종합적 만족도 및 '추천 여부' 이진 신호와의 상관관계를 계산하였다.
• 자유형 텍스트 리뷰에 대한 자동 정서 분석을 적용하여 정서 극성(positive/negative)을 텍스트 특성으로 추론하였다.
• 리뷰 텍스트에 대한 군집화 및 주제 모델링을 수행하여 반복적으로 나타나는 토론 주제(예: 이민 절차, 수하물 처리)를 식별하였다.
• 평가 특성과 정서 점수를 입력으로 사용하여 '다시 추천할 것인가?' 신호를 예측하는 이진 분류기(주로 Hoeffding 트리)를 훈련시켰다.
• F1 점수와 AUC를 사용하여 모델 성능을 평가하였으며, 개별 특성, 특성 조합, 정서 전용 모델 간의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 항공사 리뷰에서 여행자 만족도에 가장 유의미한 영향을 미치는 평가 특성과 텍스트 기반 특성들은 무엇인가?
• RQ2 평점 데이터가 제공되지 않을 경우, 리뷰 텍스트의 정서만으로도 여행자 만족도를 얼마나 잘 예측할 수 있는가?
• RQ3 여러 평가 특성을 조합함으로써 만족도 예측 성능에 어떤 향상이 이루어지는가?
• RQ4 Hoeffding 트리와 같은 점진적 학습 모델이 낮은 지연으로 실시간 만족도 예측을 지원할 수 있는가?

주요 결과

• 라운지 편안함, 공항 대기 시간, 항공사 기내 승무원 품질, 좌석 다리 공간이 종합적 여행자 만족도와 가장 높은 상관관계를 보였다.
• 리뷰 정서는 경쟁력 있는 예측 변수로서, 항공사 리뷰의 경우 F1 점수 0.839를 기록하여 종합 5점 평점조차 뛰어넘었다.
• 가장 뛰어난 평가 특성을 조합한 결과가 가장 높은 예측 성능을 보였으며, 라운지 및 항공사 리뷰의 경우 AUC 값이 0.92를 초과하였다.
• Hoeffding 트리 분류기는 최대 훈련 실행 시간 0.06초를 기록하여 전체 재학습 없이도 효율적인 실시간 업데이트를 가능하게 하였다.
• 평가 데이터 없이 정서만으로 훈련된 모델도 무작위 추측을 뛰어넘었으며, 평점 데이터가 누락된 경우에도 유의미한 대안을 제공하였다.
• 주제 모델링을 통해 이민 절차, 수하물 처리 등 반복적인 주제가 드러나, 기존 평점 체계에 사용자 기반의 새로운 특성들을 추가할 수 있는 기회가 있음을 시사하였다.