[論文レビュー] The Neural Noisy Channel

Lei Yu, Phil Blunsom+3 more|arXiv (Cornell University)|Nov 8, 2016

Natural Language Processing Techniques参考文献 21被引用数 20

ひとこと要約

この論文は、ペaired入出力データと豊富な未ペア出力データを用いて、チャネルモデル $p(\mathbf{x}|\mathbf{y})$ とソースモデル $p(\mathbf{y})$ を共同で学習することで、逐次的変換の性能を向上させるニューラルノイジィチャネルモデルを提案する。潜在的アラインメント変数を導入することで逐次的デコードを可能にし、計算可能なビームサーチを実現。特に未ペアデータが豊富な状況では、直接的な逐次的変換モデルを上回る性能を発揮する。

ABSTRACT

We formulate sequence to sequence transduction as a noisy channel decoding problem and use recurrent neural networks to parameterise the source and channel models. Unlike direct models which can suffer from explaining-away effects during training, noisy channel models must produce outputs that explain their inputs, and their component models can be trained with not only paired training samples but also unpaired samples from the marginal output distribution. Using a latent variable to control how much of the conditioning sequence the channel model needs to read in order to generate a subsequent symbol, we obtain a tractable and effective beam search decoder. Experimental results on abstractive sentence summarisation, morphological inflection, and machine translation show that noisy channel models outperform direct models, and that they significantly benefit from increased amounts of unpaired output data that direct models cannot easily use.

研究の動機と目的

• ペアド入出力ペアに比べて未ペア出力データが著しく多い、逐次的変換タスクにおけるデータの不均衡問題に対処すること。
• 直接的な逐次的変換モデルにおける「説明の消去（explaining away）」問題を、ノイジィチャネル定式化により入力を説明する出力を強制することで克服すること。
• 出力の周辺分布を用いて $p(\mathbf{y})$ を $p(\mathbf{x}|\mathbf{y})$ とは独立にモデル化することで、未ペアデータの有効な活用を可能にすること。
• 出力の部分列に逐次的に条件づけることができる潜在的セグメンテーション変数を導入することで、ノイジィチャネルモデルのための計算可能なデコードアルゴリズムを設計すること。

提案手法

• モデルは潜在的アラインメント変数 $\mathbf{z}$ を用い、各出力トークンが入力系列の読み込みに対していつ生成されるかを制御することで、逐次的デコードを可能にする。
• チャネルモデル $p(\mathbf{x}|\mathbf{y})$ は、潜在変数を介して部分出力系列に条件づけられる再帰的ニューラルネットワークでパラメータ化され、出力部分列への要因分解を可能にする。
• ソースモデル $p(\mathbf{y})$ は未ペア出力系列上で学習され、豊富な単語語彙データを活用して一般化性能を向上させる。
• デコードはビームサーチによって実行され、部分仮説を保持し、潜在変数を用いて処理済みの入力セグメントを追跡する。
• バックプロパゲーション中に潜在的アラインメント変数を正確に周辺化するため、動的計画法を用いてモデルを共同で学習する。
• 直接モデルとノイジィチャネルモデルを組み合わせたフレームワークであり、言語モデルと入力説明の補足的な誘導バイアスを提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルノイジィチャネルモデルは、未ペア出力データを有効に活用して逐次的変換の性能を向上させることができるか？
• RQ2 潜在的アラインメント変数の使用により、長距離のコンテキストに依存するノイジィチャネルモデルにおいて、計算可能なビームサーチデコードが可能になるか？
• RQ3 ノイジィチャネル定式化は、直接的逐次的変換モデルに共通する「説明の消去」問題をどのように緩和するか？
• RQ4 未ペアデータが豊富な状況では、ノイジィチャネルモデルが直接モデルをどの程度上回るか？
• RQ5 直接モデルとノイジィチャネルモデルを組み合わせることで、さらなる性能向上が得られるか？

主な発見

• ニューラルノイジィチャネルモデルは、要約生成、語彙変形、機械翻訳タスクにおいて、直接的な逐次的変換モデルを上回る性能を発揮する。
• モデルは未ペア出力データの恩恵を著しく受けており、直接モデルでは容易に活用できないことから、ソースモデル部の価値が顕著に示されている。
• 要約生成タスクでは、ノイジィチャネルモデルはコピーに依存するのではなく、例として「speed up」を「accelerate」の代わりに生成するように言い換えを行うなど、より強い生成的行動を示している。
• 出力が入力を説明することを要求することで、入力説明の失敗リスクが低減され、「説明の消去」問題を回避している。
• 直接モデルとノイジィチャネルモデルの共同学習によりさらなる性能向上が得られ、相補的な強みが示されている。
• 計算可能なビームサーチは、出力全体を事前に必要とせず、モノトニックで逐次的なデコードを可能にする潜在的セグメンテーション変数によって実現されている。