[論文レビュー] Autoencoder as Assistant Supervisor: Improving Text Representation for Chinese Social Media Text Summarization

Shuming Ma, Xu Sun+2 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 26被引用数 9

ひとこと要約

本稿では、中国語SNSテキストの抽象的要約のためのsequence-to-sequenceモデルにおけるテキスト表現を向上させるために、アシスタントスーパvisorとして要約オートエンコーダーを用いる新しいフレームワークSuperAEを提案する。ソースコンテンツの隠れ表現と要約の表現を距離最小化および対抗学習を用いて一致させることで、ベンチマークデータセット上で最先端の性能を達成し、ベースラインのSeq2SeqモデルよりもROUGE-1で7.1、ROUGE-2で6.1、ROUGE-Lで7.0のスコア向上を達成した。

ABSTRACT

Most of the current abstractive text summarization models are based on the sequence-to-sequence model (Seq2Seq). The source content of social media is long and noisy, so it is difficult for Seq2Seq to learn an accurate semantic representation. Compared with the source content, the annotated summary is short and well written. Moreover, it shares the same meaning as the source content. In this work, we supervise the learning of the representation of the source content with that of the summary. In implementation, we regard a summary autoencoder as an assistant supervisor of Seq2Seq. Following previous work, we evaluate our model on a popular Chinese social media dataset. Experimental results show that our model achieves the state-of-the-art performances on the benchmark dataset.

研究の動機と目的

• 抽象的要約における長くノイズの多い中国語SNSテキストから正確な意味的表現を学ぶという課題に対処すること。
• より一貫性があり簡潔な要約を監視情報として活用することで、sequence-to-sequenceモデルの内部表現の質を向上させること。
• 対抗学習を用いてソースと要約の意味的関連性に基づき、監視強度を動的に調整すること。
• ベンチマーク中国語SNS要約データセット上で最先端の性能を達成すること。

提案手法

• Bi-LSTMエンコーダーとデコーダーを用いて、参照要約の高品質な表現を学ぶ要約オートエンコーダーを訓練する。
• ソースコンテンツの隠れ表現と要約の表現の間のL2距離を最小化することで、Seq2Seqモデルを監視する。
• 偽物（ソースコンテンツの表現）と本物（要約の表現）を区別するための識別器ネットワークを導入し、動的監視強度の調整を可能にする。
• 対抗訓練を用いて、Seq2Seqモデルの内部表現をオートエンコーダーの表現に近づけ、意味的一致を向上させる。
• 標準的なSeq2Seq損失と監視損失を組み合わせ、バックプロパゲーションを用いてエンドツーエンドで最適化する。
• 推論時においては、最終モデルをソースコンテンツから要約を生成するために、Seq2Seqデコーダーのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 要約オートエンコーダーは、抽象的要約におけるsequence-to-sequenceモデルの内部表現を向上させる有効なアシスタントスーパvisorとして機能できるか？
• RQ2 ソースコンテンツの表現と要約の表現を一致させることで、ノイズが多く長大なSNSテキストに対して、より良い要約性能が得られるか？
• RQ3 対抗学習により、ソースと要約の意味的関連性に基づき、監視強度を動的に調整できるか？
• RQ4 提案手法は中国語SNSテキスト要約ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたSuperAEモデルは、ベンチマーク中国語SNSテキスト要約データセットで最先端の性能を達成し、ベースラインのSeq2SeqモデルよりもROUGE-1で7.1、ROUGE-2で6.1、ROUGE-Lで7.0のスコア向上を達成した。
• アマゾンFine Foods Reviewsコーパスにおいて、2クラス感情分析精度が8.1%、5クラス感情分析精度が6.6%向上したことで、テキスト表現の質が著しく向上していることが裏付けられた。
• 対抗学習により、意味的関連性に基づき監視の強度が適応的に調整され、低関連性のソース-要約ペairに対してより頑健な性能が得られた。
• アブレーションスタディの結果、オートエンコーダーの監視と対抗学習の両方のコンponentsが最終的な性能向上に正の寄与をしていることが確認された。
• 定性的な例では、SuperAEがベースラインのSeq2Seqと比較して、より正確で一貫性のある要約を生成していることが示された。