[論文レビュー] High Enough? Explaining and Predicting Traveler Satisfaction Using Airline Review

Emanuel Lacić, Dominik Kowald+1 more|arXiv (Cornell University)|Apr 4, 2016

Consumer Market Behavior and Pricing参考文献 14被引用数 5

ひとこと要約

本研究では、Skytraxの航空会社レビューデータを用いて、レーティング特徴量と自由記述レビューのセンチメント分析を組み合わせ、旅行者満足度を解明および予測する。センチメントと、ラウンジの快適さや座席の足元の広さといった重要なサービス属性が、高い正確性で満足度を予測することを示しており、Hoeffdingツリーのようなインクリメンタル学習モデルが、最小限の遅延でリアルタイム予測を可能にしている。

ABSTRACT

Air travel is one of the most frequently used means of transportation in our every-day life. Thus, it is not surprising that an increasing number of travelers share their experiences with airlines and airports in form of online reviews on the Web. In this work, we thrive to explain and uncover the features of airline reviews that contribute most to traveler satisfaction. To that end, we examine reviews crawled from the Skytrax air travel review portal. Skytrax provides four review categories to review airports, lounges, airlines and seats. Each review category consists of several five-star ratings as well as free-text review content. In this paper, we conducted a comprehensive feature study and we find that not only five-star rating information such as airport queuing time and lounge comfort highly correlate with traveler satisfaction but also textual features in the form of the inferred review text sentiment. Based on our findings, we created classifiers to predict traveler satisfaction using the best performing rating features. Our results reveal that given our methodology, traveler satisfaction can be predicted with high accuracy. Additionally, we find that training a model on the sentiment of the review text provides a competitive alternative when no five star rating information is available. We believe that our work is of interest for researchers in the area of modeling and predicting user satisfaction based on available review data on the Web.

研究の動機と目的

• 航空会社レビューデータにおける、レーティングベースの特徴量とテキスト特徴量のうち、旅行者満足度に最も寄与する要因を特定すること。
• 自由記述レビューテキストから抽出したセンチメントが、全体の旅行者満足度を効果的に予測できるかどうかを調査すること。
• 利用可能なレビューデータを用いて満足度を予測する機械学習モデルを構築・評価すること、特にレーティングデータが欠損している場合の対応を目的とすること。
• ストリーミングレビューデータに適したインクリメンタル学習アルゴリズムを活用し、リアルタイムの満足度予測を可能にすること。
• トピックモデリングの可能性を検討し、ユーザー主導の新たな特徴量を既存のレーティングスキーマに拡張する可能性を明らかにすること。

提案手法

• Skytraxポータルから、空港、ラウンジ、航空会社、座席の4つのカテゴリをカバーする160,400件以上の航空会社レビューデータを収集・分析した。
• 5つ星レーティング特徴量（例：順番待ち時間、キャビンスタッフの質、座席の足元の広さ）を抽出し、全体の満足度と「おすすめするか」のバイナリ信号との相関を計算した。
• 自由記述レビューテキストに対して自動センチメント分析を実施し、テキスト特徴量としてセンチメント極性を推定した。
• レビューテキストに対してクラスタリングおよびトピックモデリングを実施し、繰り返し話題にされるテーマ（例：入国審査、手荷物取り扱い）を同定した。
• レーティング特徴量とセンチメントスコアを入力として用い、Hoeffdingツリーを主な分類器として使用し、「おすすめしますか？」の信号を予測するためのバイナリ分類器を訓練した。
• F1スコアとAUCを用いてモデルの性能を評価し、個々の特徴量、特徴量の組み合わせ、センチメントのみのモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 航空会社レビューデータにおける、レーティング特徴量とテキスト特徴量のうち、旅行者満足度に最も強く関連するものは何か？
• RQ2 レーティングデータが利用できない状況において、レビューテキストのセンチメントのみを用いて旅行者満足度をどれほど正確に予測できるか？
• RQ3 複数のレーティング特徴量を組み合わせることで、満足度予測性能にどの程度の向上が得られるか？
• RQ4 Hoeffdingツリーのようなインクリメンタル学習モデルは、低遅延でリアルタイムの満足度予測を可能にするか？

主な発見

• ラウンジの快適さ、空港での順番待ち時間、航空会社のキャビンスタッフの質、座席の足元の広さが、全体の旅行者満足度と最も高い相関を示した。
• レビューセンチメントは競争力のある予測要因であり、航空会社レビューデータではF1スコア0.839を達成し、全体の5つ星レーティングを上回った。
• 最も性能の優れたレーティング特徴量を組み合わせることで、最高の予測性能が得られ、ラウンジおよび航空会社レビューデータではAUCが0.92を超えた。
• Hoeffdingツリー分類器は最大0.06秒のトレーニング実行時間に抑えられ、完全な再トレーニングなしで効率的なリアルタイム更新が可能となった。
• レーティングデータが欠損している状況でも、センチメントのみで学習したモデルはランダムな当てずっぽうより優れており、代替手段として有効であった。
• トピックモデリングにより、入国審査や手荷物取り扱いといった繰り返しのテーマが同定され、既存のレーティングスキーマに新たなユーザー主導の特徴量を追加する機会が示された。