[論文レビュー] StackSeq2Seq: Dual Encoder Seq2Seq Recurrent Networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|Oct 11, 2017

Machine Learning in Bioinformatics参考文献 11被引用数 4

ひとこと要約

この論文では、分離されたLSTMおよびGRUエンコーダからのコンテキストベクトルを組み合わせることで、グラフ上の最短経路予測を向上させる二重エンコーダーSeq2Seq再帰ネットワーク、StackSeq2Seqを提案する。ホモトピー続行に基づく損失平滑化を組み合わせることで、最短経路で59.6%、成功経路で78.3%の精度を達成し、単一エンコーダー・モデル比で10%の向上を示した。

ABSTRACT

A widely studied non-deterministic polynomial time (NP) hard problem lies in finding a route between the two nodes of a graph. Often meta-heuristics algorithms such as $A^{*}$ are employed on graphs with a large number of nodes. Here, we propose a deep recurrent neural network architecture based on the Sequence-2-Sequence (Seq2Seq) model, widely used, for instance in text translation. Particularly, we illustrate that utilising a context vector that has been learned from two different recurrent networks enables increased accuracies in learning the shortest route of a graph. Additionally, we show that one can boost the performance of the Seq2Seq network by smoothing the loss function using a homotopy continuation of the decoder's loss function.

研究の動機と目的

• 可変なシーケンス長を持つグラフにおいて、再帰ニューラルネットワークが最短経路を学習・一般化する能力を向上させること。
• LSTMとGRUという二つの異なる再帰エンコーダーを組み合わせることで、単一エンコーダー・アーキテクチャと比較して、シーケンスモデリングの忠実度が向上するかどうかを調査すること。
• ホモトピー続行が損失関数の平滑化に与える影響を評価し、トレーニングの安定性と経路予測精度の向上に寄与するかどうかを検証すること。
• 潜在次元の増加か、エンコーダーのダイナミクスの向上のどちらが、グラフ経路探索のためのシーケンス・トゥ・シーケンス学習における性能向上に寄与しているかを評価すること。
• 伝統的なメタヒューリスティクス（例：A*）を置き換えることなく、スケーラブルで微分可能な代替手法を提供すること。

提案手法

• モデルは二重エンコーダー・アーキテクチャを採用しており、一方のLSTMとGRUが、それぞれグラフ経路の出発ノードと到着ノードを別々の隠れ状態にエンコードする。
• 両エンコーダーからのコンテキストベクトルが連結され、512次元の統合潜在表現が形成され、これがデコーダーの初期隠れ状態として機能する。
• デコーダーは、埋め込み表現を用いたノード表現を逐次的に生成し、関連するエンコーダー状態に注目するためのアテンション機構を備えている。
• 最適化の安定性を向上させるために、ガウスカーネル（標準偏差σ ∈ {30, 5, 1, 0.0001}）を用いてデコーダーの損失関数を拡散するホモトピー続行に基づく損失平滑化技術が適用されている。
• Adam最適化法を用いてトレーニングを行い、β₁ = 0.9、β₂ = 0.999、初期学習率10⁻³を400エポックにわたり設定した。
• トレーニングはミネソタ州の道路網グラフ（376ノード、455エッジ）上でA*を用いて生成された経路の67-33%の分割を用い、平均して19ホップの経路長を有する。

実験結果

リサーチクエスチョン

• RQ1 LSTMとGRUという二つの異なる再帰エンコーダーを組み合わせることで、グラフ上の最短経路予測のためのSeq2Seqネットワークのシーケンスモデリング精度が向上するか？
• RQ2 ホモトピー続行による損失関数の平滑化を用いることで、経路探索タスクにおけるSeq2Seqモデルの一般化性能と収束性が向上するか？
• RQ3 コンテキストベクトルの潜在次元を256から512に倍増させることで、シーケンス予測性能がどの程度向上するか？ これは、アーキテクチャの多様性と比較してどうか？
• RQ4 二重エンコーダー・アーキテクチャは、最短経路回復および成功経路生成の観点で、単一エンコーダー・モデルを上回るか？
• RQ5 制御された経路探索設定において、シーケンス長やグラフの複雑さが増加するに従い、モデルの性能はどのようにスケーリングするか？

主な発見

• 二重エンコーダー・モデル（LSTM + GRU）は、最短経路で57.7%、成功経路で77.1%の精度を達成し、単一エンコーダー・モデル比で10%の向上を示した。
• ホモトピー続行に基づく損失平滑化を用いてトレーニングした場合、最短経路で59.6%、成功経路で78.3%の精度に到達し、非平滑化バージョン比で2%の相対的向上を示した。
• 隠れ状態次元を256から512に倍増させたが、最短経路精度は1%のわずかな向上、成功経路では0.2–1.6%の上昇に留まり、エンコーダーのダイナミクスが容量よりも重要であることを示した。
• 二重エンコーディングによる性能向上は、潜在次元の増加ではなく、LSTMとGRUの補完的ダイナミクスに起因しており、異なる隠れユニット数でも一貫した結果が得られたことから裏付けられた。
• モデルは長期間のシーケンスに対しても一般化に成功しており、平均19ホップの経路長を維持しながら、非凸最適化のランドスケープにもかかわらず、シーケンス再構成の忠実度を保った。
• A*をゴールドスタンダードの経路生成器として用いることで、すべてのトレーニングおよびテスト経路が最適であることが保証され、NP困難な最短経路解を近似するモデルの能力を公平に評価できるようになった。