[論文レビュー] Improving Semantic Relevance for Sequence-to-Sequence Learning of Chinese Social Media Text Summarization

Shuming Ma, Xu Sun+4 more|arXiv (Cornell University)|Jun 8, 2017

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、ソース文と要約の表現間の類似度を最大化することで、中国語ソーシャルメディアテキスト要約における意味的関連性を向上させる、意味的関連性に基づく（SRB）ニューラルモデルを提案する。ゲート付きアテンションエンコーダとコサイン類似度損失を備えたデコーダを用いることで、ROUGEスコアにおいてベースラインRNNおよびアテンションベースのモデルを上回り、ROUGE-1で33.3のF1、ROUGE-Lで30.1を達成し、生成された要約の意味的整合性が高まっていることを示している。

ABSTRACT

Current Chinese social media text summarization models are based on an encoder-decoder framework. Although its generated summaries are similar to source texts literally, they have low semantic relevance. In this work, our goal is to improve semantic relevance between source texts and summaries for Chinese social media summarization. We introduce a Semantic Relevance Based neural model to encourage high semantic similarity between texts and summaries. In our model, the source text is represented by a gated attention encoder, while the summary representation is produced by a decoder. Besides, the similarity score between the representations is maximized during training. Our experiments show that the proposed model outperforms baseline systems on a social media corpus.

研究の動機と目的

• 短くノイズの多い中国語ソーシャルメディアテキストの抽象的要約における意味的関連性の低さを是正すること。
• 文法的に整合性は保つが意味的に断絶した要約を生成する既存のシーケンス・ツー・シーケンスモデルを改善すること。
• トレーニング中に意味的類似度を明示的にモデル化することで、ソースコンテンツと生成された要約の間の整合性を高めること。
• 意味的類似度の最適化が、ベースラインモデルと比較してより正確で関連性の高い要約を生成することを示すこと。
• ゲート付きアテンションエンコーダが要約タスクにおけるソーステキスト表現をどのように改善するかを評価すること。

提案手法

• ソーステキスト内の語の重要性を動的に重み付けするゲート付きアテンションエンコーダを採用し、ノイズを低減し、重要な意味的表現を強化する。
• コンテキストベクトルをアテンション機構から得る一方向RNNデコーダを用い、トークンごとに要約を生成する。
• エンコーダの最終隠れ状態とデコーダの間のコサイン類似度関数を導入し、意味的類似度を測定する。
• トレーニング中にソース表現と要約表現間のコサイン類似度スコアを最大化することで、モデルをエンド・ツー・エンドで最適化する。
• 生成のための交差エントロピー損失と、高い意味的整合性を促進するための対照的類似度損失を併用して訓練する。
• 中国語ソーシャルメディア要約コーパスにモデルを適用し、ROUGEメトリクスを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ソーステキストと生成された要約の間で意味的類似度を明示的に最適化することは、中国語ソーシャルメディア要約の質を向上させることができるか？
• RQ2 ゲート付きアテンションエンコーダは、標準のRNNエンコーダと比較して、短くノイズの多いソーシャルメディアテキストの表現にどのように影響を与えるか？
• RQ3 類似度ベースのトレーニング目的関数は、ソースと要約の間の意味的乖離をどの程度低減するか？
• RQ4 ROUGEスコアおよび意味的関連性の観点から、提案モデルは最先端の抽象的要約モデルと比較してどの程度優れているか？
• RQ5 コピーメカニズムが欠如している場合、性能に制限があると予想されるが、類似度ベースのトレーニングはこれを補完できるか？

主な発見

• SRBモデルはROUGE-1のF1スコアが33.3、ROUGE-2が20.0、ROUGE-Lが30.1を達成し、ベースラインRNNおよびRNNコンテキストモデルを上回った。
• ゲート付きアテンションエンコーダは、ノイズが多く意味のない語をフィルタリングすることで意味的表現を向上させ、要約コンテンツとの整合性を高めた。
• 定性的な例から、SRBモデルはコアな意味を捉えている一方で、RNNは文語的には整合的だが意味的に断絶した出力を生成することが明らかになった。
• ゲート付きアテンションを備えたSRBモデル（SRB+Attention）が最高のパフォーマンスを示し、強化されたソース表現の有効性を裏付けた。
• COPYNETはコピーメカニズムのおかげで高いROUGEスコアを達成しており、今後のSRBモデルへのコピーメカニズム統合がさらなる性能向上をもたらす可能性を示唆している。
• 類似度ベースのトレーニング目的関数は、明示的なコピーやポインタネットワークがなくても、要約をソースに意味的に近づけるようにモデルを促進した。