[論文レビュー] A Hybrid Word-Character Model for Abstractive Summarization.

Chieh-Teng Chang, Chi-Chia Huang+1 more|arXiv (Cornell University)|Feb 27, 2018

Topic Modeling参考文献 28被引用数 8

ひとこと要約

本稿では、中国語の抽象的要約の性能を向上させるために、語彙ベースと文字ベースの表現を統合する新しいモデルHWC（ハイブリッド語-文字）を提案する。語彙から得られる意味的豊かさを保持するとともに、文字による処理で未知語問題を軽減することで、LCSTSデータセットにおいて最先端の性能を達成し、従来手法より最低8 ROUGEポイントの向上を達成した。

ABSTRACT

Abstractive summarization is the popular research topic nowadays. Due to the difference in language property, Chinese summarization also gains lots of attention. Most of studies use character-based representation instead of word-based to keep out the error introduced by word segmentation and OOV problem. However, we believe that word-based representation can capture the semantics of the articles more accurately. We proposed a hybrid word-character model preserves the advantage of both word-based and character-based representations. Our method also enables us to use larger word vocabulary size than anyone else. We call this new method HWC (Hybrid Word-Character). We conduct the experiments on LCSTS Chinese summarization dataset, and out-perform the current state-of-the-art by at least 8 ROUGE points.

研究の動機と目的

• 中国語の抽象的要約において、完全に文字ベースのモデルが意味的意味を捉えることの制限を解消すること。
• 語彙レベルの表現が持つ意味的豊かさを活用するとともに、語の区切りエラーと未知語問題を軽減すること。
• エンドツーエンドの要約モデルにおいて、これまで以上に大きな語彙サイズを活用できるようにすること。
• 中国語のような低リソースまたは語形変化が複雑な言語の要約性能を、語と文字の特徴を組み合わせることで向上させること。

提案手法

• 抽象的要約のための統合されたエンコーダ-デコーダフレームワーク内で、語彙レベルと文字レベルの表現を統合すること。
• 語彙埋め込みを用いて高レベルの意味的意味を捉え、文字レベルのエンコーダーを用いてサブワードの構造をモデル化し、未知語に対応すること。
• 語彙と文字の表現を連結またはアテンションメカニズムを用いて組み合わせ、文脈表現を豊かにすること。
• 語彙レベルの意味と文字レベルの頑健性の両方を同時に最適化する学習目的を設計すること。
• 文字レベルの監視を活用することでデータスパarsityを低減し、従来の制限を超えて語彙サイズを拡大すること。
• ポインタジェネレータまたはカバレッジ機構を備えたシーケンストゥシーケンスモデルにハイブリッド表現を適用し、より優れた要約生成を実現すること。

実験結果

リサーチクエスチョン

• RQ1 語彙ベースと文字ベースの表現を組み合わせることで、中国語の抽象的要約性能が向上するか？
• RQ2 提案されたハイブリッドモデルは、純粋な文字ベースのモデルと比較して、語の区切りエラーと未知語問題の影響を軽減するか？
• RQ3 性能が低下することなく、語彙サイズをどの程度まで拡大できるか？
• RQ4 標準的な中国語要約ベンチマークにおいて、HWCモデルは最先端の手法と比較してどうなるか？

主な発見

• HWCモデルはLCSTSベンチマークで最先端の性能を達成し、従来手法より最低8 ROUGEポイントの向上を達成した。
• 語彙レベルの意味的豊かさと文字レベルの頑健性の統合により、より正確で滑らかな要約生成が可能になった。
• 従来のアプローチよりも大きな語彙サイズをサポートでき、意味的カバレッジが向上した。
• ハイブリッドアーキテクチャにより、中国語テキストにおける語の区切りエラーと未知語のネガティブな影響が軽減された。
• 複数のROUGE指標において一貫した向上が確認され、要約品質の頑健性が示された。