[論文レビュー] Author Identification using Multi-headed Recurrent Neural Networks

Douglas Bagnall|arXiv (Cornell University)|Jun 16, 2015

Authorship Attribution and Profiling参考文献 6被引用数 44

ひとこと要約

本稿では、一般言語パターンを共有される再帰層でモデル化する一方で、複数の独立した出力ヘッドが個々の著者のスタイル特徴に特化する、マルチヘッド再帰ニューラルネットワークを提案する。このアプローチは、一般言語モデリングと著者固有のスタイル学習の両方を効果的にバランスさせることで、PAN 2015 チャレンジにおいて4言語中2言語で最先端の性能を達成した。

ABSTRACT

Recurrent neural networks (RNNs) are very good at modelling the flow of text, but typically need to be trained on a far larger corpus than is available for the PAN 2015 Author Identification task. This paper describes a novel approach where the output layer of a character-level RNN language model is split into several independent predictive sub-models, each representing an author, while the recurrent layer is shared by all. This allows the recurrent layer to model the language as a whole without over-fitting, while the outputs select aspects of the underlying model that reflect their author's style. The method proves competitive, ranking first in two of the four languages.

研究の動機と目的

• 著者識別タスクにおける1著者あたりの訓練データが限られているという課題に対処すること。
• 著者間で再帰的表現を共有することで、著者識別における一般化性能を向上させること。
• 小規模なコーパスに過剰適合しないように、著者固有のスタイルパターンを学習できるようにすること。
• 言語モデリングと著者予測を分離するスケーラブルで効率的なアーキテクチャを開発すること。
• 複数言語にわたるPAN 2015 著者識別ベンチマークでこの手法を評価すること。

提案手法

• すべての訓練テキストにわたる逐次的言語パターンをモデル化するために、文字レベルの再帰的ニューラルネットワーク（RNN）が使用される。
• 出力層が複数の独立したヘッドに分割され、それぞれが特定の著者の次の文字を予測することに専念する。
• 再帰的隠れ層はすべてのヘッドで共有され、一般言語構造の共同学習が可能になる。
• 各出力ヘッドは、共有された隠れ表現の異なる側面に注目することで、著者固有のスタイル的好みを学習する。
• エンドツーエンドでクロスエントロピー損失を使用してモデルを訓練し、各ヘッドは関連する著者の次の文字の確率分布を予測する。
• 推論時、与えられたテキストシーケンスに対して尤度が最も高いヘッドが選択される。

実験結果

リサーチクエスチョン

• RQ1 1著者あたりの訓練データが限られている状況で、共有された再帰層が著者識別における一般化性能を向上させられるか？
• RQ2 共有された言語モデルから著者固有の予測ヘッドを分離することで、リソースが限られた著者識別タスクでの性能が向上するか？
• RQ3 PAN 2015 ベンチマークにおいて、マルチヘッドRNNアーキテクチャは標準RNNや他のニューラルモデルと比べてどのように差がつくか？
• RQ4 どの言語でマルチヘッドアプローチが最も顕著な改善を示すか？
• RQ5 小規模な著者固有コーパスに過剰適合しないように、スタイルの違いを効果的に学習できるか？

主な発見

• モデルはPAN 2015 著者識別チャレンジで評価された4言語のうち2言語で最高順位を達成した。
• マルチヘッドアーキテクチャは、共有された言語モデリングを活用しながらも著者固有の予測能力を保持することで、標準RNNを上回った。
• 再帰層における効果的な重み共有のおかげで、リソースが限られた著者識別タスクにおいて強力な一般化性能を示した。
• 過剰適合が大きな課題となる、1著者あたりの訓練データが限られた言語において特に効果的であった。
• 再帰エンコーダーを共有しながら予測ヘッドを分離することで、性能と頑健性の両方が向上することが示された。
• モデルの成功は、マルチヘッドRNNがデータが少ない状況下での著者識別に実用的かつ効果的なアーキテクチャである可能性を示唆している。