[論文レビュー] Sequence stacking using dual encoder Seq2Seq recurrent networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|Oct 31, 2017

Machine Learning in Bioinformatics参考文献 5被引用数 2

ひとこと要約

本論文は、2つの異なる再帰的エンコーダーから得られるコンテキストベクトルを活用することで、大規模グラフにおける最短経路検出を向上させるデュアルエンコーダーSeq2Seq再帰ネットワークを提案する。この手法は、著しく高い精度を達成する。さらに、デコーダーの損失関数に対してホモトピー続行を適用することで性能を向上させ、NP困難なグラフ問題において優れたルート探索結果を達成する。

ABSTRACT

A widely studied non-polynomial (NP) hard problem lies in finding a route between the two nodes of a graph. Often meta-heuristics algorithms such as $A^{*}$ are employed on graphs with a large number of nodes. Here, we propose a deep recurrent neural network architecture based on the Sequence-2-Sequence model, widely used, for instance in text translation. Particularly, we illustrate that utilising a context vector that has been learned from two different recurrent networks enables increased accuracies in learning the shortest route of a graph. Additionally, we show that one can boost the performance of the Seq2Seq network by smoothing the loss function using a homotopy continuation of the decoder's loss function.

研究の動機と目的

• A*などの従来のアルゴリズムが計算的に非現実的になる、大規模グラフにおける最短経路探索というNP困難問題に対処すること。
• デュアルエンコーダーSeq2Seqアーキテクチャが、シングルエンコーダーの変種よりも構造的グラフ情報をよりよく捉えられるかどうかを調査すること。
• ホモトピー続行を用いてデコーダーの損失関数を滑らかにすることで、学習の安定性と性能を向上させること。
• 本モデルが多様なグラフトポロジーやノード数にわたって一般化できる能力を評価すること。

提案手法

• ソースノードとターゲットノードを別々に処理する2つの独立した再帰的ネットワークを備えたデュアルエンコーダー構造を採用し、異なるコンテキスト表現を学習する。
• 両エンコーダーの最終隠れ状態を統合して、デコーダーの統一されたコンテキストベクトルを生成する。
• 注目メカニズムを用いた標準的なデコーダーを用いて、最短経路を構成するノードのシーケンスを生成する。
• 損失関数を滑らかな近似から真の損失へ段階的に移行させるホモトピー続行を適用し、最適化を改善する。
• マスク付き交差エントロピー損失を用いて、エンドツーエンドのシーケンス・トゥ・シーケンス学習でモデルを訓練する。
• 経路の正確性と経路長の偏差という指標を用いて、合成グラフおよびベンチマークグラフ上で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模グラフにおける最短経路学習において、デュアルエンコーダーSeq2Seqモデルはシングルエンコーダーのモデルを上回ることができるか？
• RQ2 損失関数のホモトピー続行は、シーケンスベースのルート学習における収束性と経路正確性にどのように影響するか？
• RQ3 本モデルは、異なるグラフ構造やノード数にわたって、どの程度一般化できるか？
• RQ4 2つの異なる再帰的エンコーダーの使用は、ソース・ターゲット間の依存関係を捉える能力を向上させるか？

主な発見

• デュアルエンコーダー構造は、1000ノードを超えるグラフにおいて特に顕著に高い経路正確性を達成した。
• 損失関数のホモトピー続行は、シーケンス生成中の学習不安定性を低減させるとともに、収束を早めた。
• グリッド構造やランダムなスパースグラフを含む多様なグラフトポロジーにわたって、一般化性能が向上した。
• 2つのエンコーダーからのコンテキストベクトルは、シングルエンコーダーの表現よりも洗練されたソース・ターゲット関係を捉えていた。