[論文レビュー] Investigating performance of neural networks and gradient boosting models approximating microscopic traffic simulations in traffic optimization tasks

Paweł Góra, Maciej Brzeski+3 more|arXiv (Cornell University)|Dec 2, 2018

Data Visualization and Analytics参考文献 10被引用数 4

ひとこと要約

本研究では、交通信号最適化のための微視的交通シミュレーションを近似するニューラルネットワークおよびLightGBMモデルが、遺伝的アルゴリズム（GA）によって特定された解、特に局所最適解付近で顕著に高い予測誤差を示す理由を調査している。これは、ランダムなテストセットでは強い一般化性能を示すにもかかわらずである。研究では、訓練データにおけるこれらの領域の代表性不足と、近似誤差の最小化にモデルが偏っていることが主な要因であると特定し、問題の緩和策としてアクティブラーニングおよびアンサンブル手法を提案している。

ABSTRACT

We analyze the accuracy of traffic simulations metamodels based on neural networks and gradient boosting models (LightGBM), applied to traffic optimization as fitness functions of genetic algorithms. Our metamodels approximate outcomes of traffic simulations (the total time of waiting on a red signal) taking as an input different traffic signal settings, in order to efficiently find (sub)optimal settings. Their accuracy was proven to be very good on randomly selected test sets, but it turned out that the accuracy may drop in case of settings expected (according to genetic algorithms) to be close to local optima, which makes the traffic optimization process more difficult. In this work, we investigate 16 different metamodels and 20 settings of genetic algorithms, in order to understand what are the reasons of this phenomenon, what is its scale, how it can be mitigated and what can be potentially done to design better real-time traffic optimization methods.

研究の動機と目的

• 微視的交通シミュレーションの出力を近似する機械学習メタモデル（ニューラルネットワークおよびLightGBM）が、リアルタイム交通最適化において性能劣化を示す理由を調査すること。
• ランダムなテストセットでは強い一般化性能を示すにもかかわらず、遺伝的アルゴリズムによって近似的に最適とされた交通信号設定において予測誤差が増加する理由を理解すること。
• モデルアーキテクチャ（例：活性化関数）および遺伝的アルゴリズムのハイパーパrameterが最適化軌道における誤差分布に与える影響を分析すること。
• 局所最適解領域における誤差増加の原因を同定し、機械学習加速型交通最適化の実世界への導入に向けた緩和戦略を提案すること。
• 85,336件の交通シミュレーション評価を含む公開データセットを提供し、交通シミュレーションメタモデリング分野におけるさらなる研究を促進すること。

提案手法

• 微視的交通シミュレーションを用いた交通信号設定85,336件のデータセットを用いて、8つのニューラルネットワークおよび8つのLightGBMメタモデルを訓練した。シミュレーションはTraffic Simulation Framework（TSF）を用いた。
• メタモデルを遺伝的アルゴリズム内でのフィットネス関数として使用し、赤信号時の待機時間合計を最小化するように交通信号タイミングを最適化した。
• ランダムテストセットおよび遺伝的アルゴリズムの軌道から抽出した設定（特に最終的な最良解）を対象に、モデルの性能を評価した。
• 予測された待機時間とシミュレーション結果との誤差分析を実施し、高精度領域における分布シフトに特に注目した。
• 遺伝的アルゴリズムの収束パターンを可視化するため、主成分分析（PCA）を適用した。
• アクティブラーニング（GAが生成した新規サンプルを対象に選択的再訓練）およびアンサンブルラーニング（複数モデルの予測平均化）を含む緩和戦略を提案した。

実験結果

リサーチクエスチョン

• RQ1 交通最適化に用いられる機械学習メタモデルが、ランダムテストセットと比較して遺伝的アルゴリズムで特定された解において顕著に高い予測誤差を示すのはなぜか？
• RQ2 ニューラルネットワークにおける活性化関数などのハイパーパrameterが、最適化軌道における近似誤差の分布および大きさに与える影響はいかほどか？
• RQ3 訓練データに局所最適な交通信号設定が十分に含まれていないことが、これらの領域における誤差増加にどの程度寄与しているか？
• RQ4 異なるメタモデル（ニューラルネットワーク対LightGBM）は、解空間における収束点を異なるものに導くのか。また、その差が最適化のロバストネスにどのように影響するか？
• RQ5 アクティブラーニングやアンサンブル手法は、リアルタイム交通最適化における局所最適解領域での高誤差の破壊的影響を効果的に低減できるか？

主な発見

• 遺伝的アルゴリズムによって特定された設定におけるメタモデルの平均誤差は2.16%であったが、これはランダムテストセットの平均誤差1.7–2.0%と比較して顕著に高い。
• 16モデル中14モデルで、GAが特定した設定における最大誤差が12.9%を超えており、一部は最大21.5%に達していた。これは最適化の重要な領域で性能が著しく低下していることを示している。
• ReLU活性化関数を用いたニューラルネットワークでは、シミュレーション結果を一貫して低予測していたが、tanh活性化関数を用いたネットワークでは誤差分布がより対称的であった。
• 遺伝的アルゴリズムは誤差増加にもかかわらず、初期解より優れた解に到達していたが、フィットネス関数の推定が信頼性が低くなったため、最適化プロセス自体が著しく困難になった。
• 主成分分析により、異なるメタモデルが解空間の異なる領域に収束することが明らかになった。これは、モデル依存の最適化パスが存在することを示唆している。
• 局所最適解付近での誤差増加現象は、ニューラルネットワークおよびLightGBMの両者に共通するものであるが、そのスケールや特徴は、活性化関数などのモデル固有のハイパーパラメータに依存している。