[論文レビュー] Rethinking travel behavior modeling representations through embeddings

Francisco C. Pereira|arXiv (Cornell University)|Aug 31, 2019

Human Mobility and Location-Based Analysis参考文献 7被引用数 10

ひとこと要約

本稿では、移動行動変数（例：移動手段、移動目的、教育水準など）を連続的かつ低次元の潜在空間に表現するデータ駆動型でニューラルネットワークベースの埋め込み表現（travel behavior embeddings）を提案する。従来のダミー変数やPCA符号化とは異なり、埋め込み表現は微細な意味的関係を捉え、出先データでの尤度評価において最大60%の性能向上を達成する一方で、解釈可能性を維持し、異なるデータセット間での転移学習を可能にする。

ABSTRACT

This paper introduces the concept of travel behavior embeddings, a method for re-representing discrete variables that are typically used in travel demand modeling, such as mode, trip purpose, education level, family type or occupation. This re-representation process essentially maps those variables into a latent space called the \emph{embedding space}. The benefit of this is that such spaces allow for richer nuances than the typical transformations used in categorical variables (e.g. dummy encoding, contrasted encoding, principal components analysis). While the usage of latent variable representations is not new per se in travel demand modeling, the idea presented here brings several innovations: it is an entirely data driven algorithm; it is informative and consistent, since the latent space can be visualized and interpreted based on distances between different categories; it preserves interpretability of coefficients, despite being based on Neural Network principles; and it is transferrable, in that embeddings learned from one dataset can be reused for other ones, as long as travel behavior keeps consistent between the datasets. The idea is strongly inspired on natural language processing techniques, namely the word2vec algorithm. Such algorithm is behind recent developments such as in automatic translation or next word prediction. Our method is demonstrated using a model choice model, and shows improvements of up to 60\% with respect to initial likelihood, and up to 20% with respect to likelihood of the corresponding traditional model (i.e. using dummy variables) in out-of-sample evaluation. We provide a new Python package, called PyTre (PYthon TRavel Embeddings), that others can straightforwardly use to replicate our results or improve their own models. Our experiments are themselves based on an open dataset (swissmetro).

研究の動機と目的

• 従来のカテゴリカル変数の符号化法（例：ダミー変数、PCA）には、直交性を強制するなど意味的関係を捉えきれないという限界があることに対処すること。
• 移動行動モデリングにおける移動手段、移動目的、教育水準などのカテゴリカル変数について、データ駆動型で解釈可能かつ転移可能な表現手法を開発すること。
• ニューラルネットワークから得られる埋め込み表現が、従来の符号化手法を上回る予測性能を示しつつも、係数の解釈可能性を維持できることを実証すること。
• 移動行動パターンが一貫している限り、あるデータセットで学習した埋め込みを別のデータセットで再利用できるようにすることで、データセット間の互換性を実現すること。
• 移動行動モデリング分野における採用とコミュニティ開発を促進するための再利用可能なオープンソースフレームワーク（PyTre）を提供すること。

提案手法

• 自然言語処理分野のword2vecの原則を交通行動モデリングに応用し、ニューラルネットワークを用いてカテゴリカル変数の密なベクトル表現（埋め込み）を学習する。
• 教師あり学習の枠組みを採用し、ターゲット変数（例：移動手段選択）を埋め込み済みのカテゴリカル入力を用いて予測するモデルを構築。埋め込み層は誤差逆伝播法によりエンドツーエンドで学習される。
• 各カテゴリ（例：'学生'、'就労者'）を学習された潜在空間内の密なベクトルとして表現し、意味的類似度がベクトルの距離に反映されるようにする。
• 交差エントロピー損失関数を用いて埋め込み層を学習し、最終層は選択モデル用のソフトマックス分類器とする。
• 過学習を防ぐために正則化と早期停止を適用し、モデルの確率的性質を考慮してバリデーションセットを用いて最良のモデル実行を特定する。
• 行動パターンが一貫している場合に限り、あるデータセットで事前学習した埋め込みを別のデータセットで再利用することで転移学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの埋め込み表現は、従来のダミー変数符号化法と比較して、移動需要モデルの予測性能を向上させることができるか？
• RQ2 埋め込み表現は、カテゴリカル変数間の意味的関係（例：'学生'と'就労者'は' retired'と比較して類似している）をどの程度正確に捉えられるか？
• RQ3 埋め込み表現は異なるデータセット間で再利用可能か？ つまり、再学習を一切行わずに、事前に学習した表現を再利用できるか？
• RQ4 埋め込みベースのモデルと従来のダミー変数モデルの間で、係数の解釈可能性にはどのような差があるか？
• RQ5 データセットのサイズやカテゴリの分布は、埋め込みベースのモデルの安定性と性能にどのような影響を及えるか？

主な発見

• 埋め込みベースのモデルは、初期モデルと比較して、出先データでの尤度評価において最大60%の向上を達成し、従来のダミー変数符号化法を著しく上回った。
• 出先評価において、埋め込みを用いたモデルは、対応するダミー変数を使用した従来モデルと比較して、尤度が最大20%高い結果を得た。
• 学習の確率的性質により、複数回の実行で性能にばらつきが生じた。300回の実行でテスト尤度は-1365.0から-1466.0の範囲を示し、バリデーションセットを用いた慎重なモデル選択が不可欠であった。
• 埋め込み表現は解釈可能性を維持しており、ニューラルネットワークの構造にもかかわらず、係数の意味的分析が可能であった。
• 本手法は転移性を示した。あるデータセットで学習した埋め込みは、行動パターンが一貫している限り、別のデータセットでも再利用可能であった。
• 提案されたPyTre Pythonパッケージにより、結果の再現と拡張が容易になり、共有埋め込みリソースのコミュニティ主導の開発を支援する。