[論文レビュー] Order Matters: Sequence to sequence for sets

Oriol Vinyals, Samy Bengio+1 more|arXiv (Cornell University)|Nov 19, 2015

Natural Language Processing Techniques参考文献 18被引用数 184

ひとこと要約

本論文は、入力および出力の両方で順序なし集合を処理できるように拡張されたseq2seqフレームワークを提案する。要素の順序がモデル性能に顕著な影響を与えることを示し、最適な順序を探索する訓練手法を導入することで、入力や出力が本質的に順序なしであっても最適な順序列を学習可能となる。この手法により、ソーティング、言語モデル作成、パースィングのタスクで最先端の結果が得られ、 perplexity と一般化性能が向上した。

ABSTRACT

Sequences have become first class citizens in supervised learning thanks to the resurgence of recurrent neural networks. Many complex tasks that require mapping from or to a sequence of observations can now be formulated with the sequence-to-sequence (seq2seq) framework which employs the chain rule to efficiently represent the joint probability of sequences. In many cases, however, variable sized inputs and/or outputs might not be naturally expressed as sequences. For instance, it is not clear how to input a set of numbers into a model where the task is to sort them; similarly, we do not know how to organize outputs when they correspond to random variables and the task is to model their unknown joint probability. In this paper, we first show using various examples that the order in which we organize input and/or output data matters significantly when learning an underlying model. We then discuss an extension of the seq2seq framework that goes beyond sequences and handles input sets in a principled way. In addition, we propose a loss which, by searching over possible orders during training, deals with the lack of structure of output sets. We show empirical evidence of our claims regarding ordering, and on the modifications to the seq2seq framework on benchmark language modeling and parsing tasks, as well as two artificial tasks -- sorting numbers and estimating the joint probability of unknown graphical models.

研究の動機と目的

• 入力や出力の要素が本質的に順序なし（例：数値や語の集合）である場合、その順序がseq2seqモデルの性能に与える影響を調査すること。
• 入力および出力の集合を効果的に処理できる、seq2seqフレームワークの原理的拡張を構築すること。
• 最適な順序表現を発見できるように、最適化中に可能な順序付けを探索する訓練アルゴリズムを提案すること。
• 人工タスク（ソーティング、結合確率推定）および実世界のタスク（言語モデル作成、パースィング）において、このフレームワークを実証的に検証し、ナイーブな順序付けよりも優れた性能を示すこと。

提案手法

• 入力集合が順序なしである場合に適応できるように、標準的なseq2seqフレームワークを拡張し、要素を任意の順序で処理できる「読込・処理・出力」アーキテクチャを採用する。
• 出力が順序なしの場合、訓練中にすべての出力要素の順列を探索する微分可能損失関数を提案し、尤度を最大化する。
• すべてのn!順列の探索を近似するためのサンプリングベースのアプローチを採用し、計算量をO(n!)からO(1)に削減しながら性能を維持する。
• エンコーダ・デコーダにLSTMアーキテクチャを採用し、エンコーダは入力要素を任意の順序で読み込み、デコーダは符号化状態に条件付けられた出力順序列を生成する。
• 出力順序列の結合確率を分解するためにチェーンルールを適用し、元のデータが順序なしであっても自己回帰的生成を可能にする。
• 順列πを最適化する訓練目的を導入し、log P(Y_π | X) を最大化する順列πを選択することで勾配更新により強化する。

実験結果

リサーチクエスチョン

• RQ1 入力または出力データが順序なしである場合、その順序付けの選択がseq2seqモデルの性能に顕著に影響を与えるか？
• RQ2 自然な順序が存在しない集合の要素について、ディープラーニングモデルが自動的により良い順序付けを発見できるか？
• RQ3 seq2seqフレームワークを、入力および出力の集合を原理的かつ効果的に処理できるようにどのように拡張できるか？
• RQ4 全順列の探索なしに、集合要素の順列に対する最適化を効果的に行うための訓練戦略は何か？
• RQ5 本手法は、データが自然に逐次的でない実世界のタスク（例：言語モデル作成、パースィング）にも一般化可能か？

主な発見

• 入力および出力要素の順序がモデル性能に顕著に影響を与え、不適切な順序付けは perplexity を上昇させ、一般化性能を悪化させる。
• 5-gram言語モデルでは、順列の探索を経て訓練されたモデルが自然な順序（1,2,3,4,5）を回復し、検証 perplexity が225に達した。
• すべての120通りの順列（5!）を用いて訓練した場合でも、モデルは依然として（1,2,3,4,5）や（5,4,3,2,1）といった最適な順序に収束し、perplexity 225を維持した。これは、入力順序が任意であってもモデルの堅牢性を示している。
• サンプリングベースの探索戦略により、計算量をO(n!)からO(1)に削減したが、収束速度と安定性において正確な探索を上回った。
• 人工タスク（数のソーティング、未知のグラフィカルモデルの結合確率推定）において、高い精度が達成され、非逐次的データに対するフレームワークの有効性が確認された。
• パースィングおよび言語モデル作成タスクにおいて、本手法は入力や出力が本質的に順序なしであっても、ナイーブなseq2seqベースラインを上回る性能を示した。