[論文レビュー] A Latent Variable Recurrent Neural Network for Discourse Relation Language Models

Yangfeng Ji, Gholamreza Haffari+1 more|arXiv (Cornell University)|Mar 7, 2016

Topic Modeling被引用数 71

ひとこと要約

本稿では、離散的潜在変数を用いて隣接する文間の語順列と話題関係を同時にモデル化する潜在変数を備えた再帰的ニューラルネットワークを提案する。語の予測と話題関係分類の両方で訓練することで、Penn Discourse Treebankにおける非表示話題関係分類およびSwitchboardにおける対話行動分類において、最先端の手法を上回る性能を発揮するとともに、潜在関係の周辺化により話題に配慮した言語モデルとしても機能する。

ABSTRACT

This paper presents a novel latent variable recurrent neural network architecture for jointly modeling sequences of words and (possibly latent) discourse relations between adjacent sentences. A recurrent neural network generates individual words, thus reaping the benefits of discriminatively-trained vector representations. The discourse relations are represented with a latent variable, which can be predicted or marginalized, depending on the task. The resulting model can therefore employ a training objective that includes not only discourse relation classification, but also word prediction. As a result, it outperforms state-of-the-art alternatives for two tasks: implicit discourse relation classification in the Penn Discourse Treebank, and dialog act classification in the Switchboard corpus. Furthermore, by marginalizing over latent discourse relations at test time, we obtain a discourse informed language model, which improves over a strong LSTM baseline.

研究の動機と目的

• 隣接する文間の語順列と話題関係を統合的にモデル化するニューラルアーキテクチャの開発。
• 従来のニューラルモデルが注釈付き話題関係に依存するという限界を克服し、観察されないまたは部分的に観察された話題構造を潜在変数として組み込むこと。
• 訓練時に語の予測と話題関係の目的関数の両方を活用することで、話題関係分類および言語モデルの性能を向上させること。
• 推論時に潜在話題関係の周辺化を可能にし、テスト時に明示的な話題注釈を必要としない話題に配慮した言語モデルを実現すること。

提案手法

• モデルは再帰的ニューラルネットワーク（RNN）を用い、過去の語と文脈から導かれる隠れ状態に条件づけて語を生成する。
• 隣接する文間の話題関係は、離散的潜在変数としてモデル化され、訓練および推論時に予測または周辺化される。
• モデルは語と話題関係の同時尤度を最大化するように訓練され、言語モデルと話題分類の両方の目的関数の恩恵を受ける。
• 推論時に潜在話題変数を合算することで、テスト時に明示的な話題注釈を必要とせず、話題に配慮した言語モデルとして動作可能になる。
• 識別的に学習された語埋め込みと、語の予測に適した条件付きソフトマックス出力層を統合し、RNNの隠れ状態は非線形変換によって更新される。
• このフレームワークは、Theano、Torch、CNTKなどの標準的なディープラーニングツールキットでも簡単に実装可能であり、標準RNNに最小限の変更を加えるだけで実現可能である。

実験結果

リサーチクエスチョン

• RQ1 話題関係を潜在変数として扱うことで、ニューラルネットワークが語の予測と話題関係分類を同時に学習できるか？
• RQ2 潜在変数として話題構造を組み込むことで、注釈付き関係のみで訓練されたモデルと比較して、非表示話題関係分類の性能がどのように向上するか？
• RQ3 テスト時に潜在話題関係を周辺化することで、話題構造を無視する標準的なRNNと比較して、より優れた言語モデルが得られるか？
• RQ4 語の予測と話題関係の両方の目的関数で訓練することで、話題関係のみで訓練されたモデルと比較して、一般化性能がどの程度向上するか？
• RQ5 このアプローチは部分的にラベル付けされたデータにスケーリング可能であり、リソースが限られたまたは大規模な話題モデリングタスクで性能向上を実現できるか？

主な発見

• 本モデルは、Penn Discourse Treebankにおける非表示話題関係分類で最先端の性能を達成し、従来のニューラルモデルおよび特徴ベースの手法を上回った。
• また、Switchboardコーパスにおける対話行動分類でも最先端の結果を達成し、話題タスク全体にわたる強力な一般化性能を示した。
• テスト時に潜在話題関係を周辺化することで、強いLSTMベースラインと比較してより低いパープレクサティを達成する話題に配慮した言語モデルを生成した。
• 訓練時に語の予測と話題関係の監視両方の恩恵を受けることで、注釈付き話題関係にのみ依存するモデルと比較して、より優れた表現学習が実現した。
• 離散的潜在変数の使用により、複雑な変分推論を要する連続的潜在変数モデルと比較して、訓練および推論が簡素化された。
• アーキテクチャは、既存のディープラーニングフレームワークへの適応が容易であり、標準RNNに最小限の変更を加えるだけで実現可能で、広範な適用性を有する。