[論文レビュー] A Planning based Framework for Essay Generation

Bing Qin, Duyu Tang+4 more|arXiv (Cornell University)|Dec 18, 2015

Topic Modeling参考文献 24被引用数 6

ひとこと要約

本稿では、1つのトピック語を入力として受け取り、一貫性があり構造的なエッセイを生成する計画ベースのフレームワークを提案する。このフレームワークは、意味的ベクトル表現を用いてトピック理解、文選択、文の再順序付けを実行し、再帰的ニューラルネットワークが従来手法を上回る性能を発揮する。このアプローチは言語に依存せず、中国語コーパスを用いて検証され、生成エッセイの一貫性と構造的整序性が向上していることが示された。

ABSTRACT

Generating an article automatically with computer program is a challenging task in artificial intelligence and natural language processing. In this paper, we target at essay generation, which takes as input a topic word in mind and generates an organized article under the theme of the topic. We follow the idea of text planning \cite{Reiter1997} and develop an essay generation framework. The framework consists of three components, including topic understanding, sentence extraction and sentence reordering. For each component, we studied several statistical algorithms and empirically compared between them in terms of qualitative or quantitative analysis. Although we run experiments on Chinese corpus, the method is language independent and can be easily adapted to other language. We lay out the remaining challenges and suggest avenues for future research.

研究の動機と目的

• 単一のトピック語を入力として受け取り、一貫性がありトピックに焦点を当てたエッセイを生成するフレームワークの開発。
• 話法的・意味的整合性を持つ自然言語出力を構造化する課題への対処。
• 意味的表現を用いた言語に依存しないエッセイ生成手法の探求。
• トピック理解、文選択、文の再順序付けのための異なる技術を実証的に評価・比較すること。

提案手法

• トピック理解は、同義語辞書を用いたトピック拡張、トピックモデリング、ワード埋め込みを経て、クラスタリングにより支援的根拠を同定する。
• 文選択は、支援語と候補文との間の意味的類似度に基づき、埋め込みベースおよび再帰的ニューラルネットワークモデルを用いる。
• 文の再順序付けは、話法的および意味的関連性に基づき、再帰的ニューラルネットワークが文同士の関係をモデル化する。
• フィードバック機構により、選択された文から新たな証拠を抽出することで、支援語セットを拡充する。
• 中国語コーパスを用いてフレームワークを評価し、異なる手法間での定量的・定性的比較を実施する。
• このアプローチは言語に依存せず、中国語以外の言語への適応が可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてトピック語を、エッセイ生成に適した意味的に整合性のある主張に効果的に拡張できるか？
• RQ2 大規模コーパスからトピックに関連する文を選択するのに最も適した手法は何か？
• RQ3 話法的整合性と意味的流れを確保するため、文の順序を最適化するにはどうすればよいか？
• RQ4 ワード埋め込みと再帰的ニューラルネットワークなどの異なる意味的表現モデルは、文の再順序付け性能をどの程度向上させるか？
• RQ5 フィードバック機構は、生成エッセイの支援的コンテンツの質と多様性を向上させることができるか？

主な発見

• ワード埋め込みベースおよびトピックモデリング手法が、同義語辞書ベースの手法を上回り、より関連性が高く多様な主張を生成する。
• 再帰的ニューラルネットワークは、bag-of-wordsおよび平均埋め込み手法を著しく上回り、文レベルの意味的関係をより優れたモデル化を示した。
• フレームワークは、中国語コーパス上での定性的および定量的分析により、一貫性と構造的整序性が向上したエッセイを生成した。
• フィードバック機構は、抽出された文から新たな支援語を効果的に同定し、主張表現の拡充とコンテンツの多様性向上に寄与した。
• この手法は異なる意味的表現技術にわたり有効であり、他の言語への適応が可能であるため、高い汎化可能性を示している。