[論文レビュー] Learning to generate one-sentence biographies from Wikidata

Andrew M. Chisholm, Will Radford+1 more|arXiv (Cornell University)|Feb 21, 2017

Topic Modeling参考文献 27被引用数 13

ひとこと要約

この論文では、Wikidataの事実から1文のWikipediaの伝記を生成するための、自己符号化目的を備えたシーケンス・ツー・シーケンスの再帰的ニューラルネットワークを提案する。モデルは事実の再現率と生成品質を向上させ、BLEUスコア41.0を達成し、人間の好み評価においてテンプレートベースラインを上回った。また、標準的なseq2seqモデルと比較して幻覚を低減した。

ABSTRACT

We investigate the generation of one-sentence Wikipedia biographies from facts derived from Wikidata slot-value pairs. We train a recurrent neural network sequence-to-sequence model with attention to select facts and generate textual summaries. Our model incorporates a novel secondary objective that helps ensure it generates sentences that contain the input facts. The model achieves a BLEU score of 41, improving significantly upon the vanilla sequence-to-sequence model and scoring roughly twice that of a simple template baseline. Human preference evaluation suggests the model is nearly as good as the Wikipedia reference. Manual analysis explores content selection, suggesting the model can trade the ability to infer knowledge against the risk of hallucinating incorrect information.

研究の動機と目的

• 未発表の人物の構造化されたWikidata事実から、正確で自然な1文の伝記を生成すること。
• 入力事実と生成されたテキストの間の不一致を是正するため、事実の再現率と一貫性を向上させるために、二次的な自己符号化目的を導入すること。
• BLEU以外の指標を用いた評価を通じて、モデルの性能を人間の好み評価および内容選択と幻覚の手動分析によって評価すること。
• 生成と事実再構築の共同学習が、事実の正確性と文の質を向上させるかどうかを調査すること。
• 神経的知識からテキストへの変換において、知識の推論と幻覚の間のトレードオフを調査すること。

提案手法

• 平坦化されたWikidataのスロット-値ペアを1文の伝記にマッピングするため、Luongスタイルのアテンションを備えたシーケンス・ツー・シーケンスRNNを訓練する。
• 入力事実を生成出力から再構築することを目的とした、新たな二次的な自己符号化目的を導入し、入力と出力の整合性を向上させる。
• 入力と出力の間で共有語彙を使用することで、事実選択と実現のエンド・ツー・エンド学習を可能にする。
• 訓練データは40万件を超えるWikidata-Wikipedia文のペアで構成され、15の最も頻出する人物関連スロットに焦点を当てる。
• 比較のためのテンプレートベースのベースラインを用い、最小限の言語的変動でスロット埋め込みによる文の生成を実施する。
• 評価には自動指標（BLEU）、人間の好み評価、および事実再現率、正確性、幻覚の手動分析が含まれる。

実験結果

リサーチクエスチョン

• RQ1 神経的シーケンス・ツー・シーケンスモデルは、Wikidata事実から、より高い事実的一致性を持つ高品質な1文の伝記を生成できるか？
• RQ2 自己符号化目的の導入により、標準的なseq2seqモデルと比較して、事実の再現率が向上し、幻覚が減少するか？
• RQ3 BLEUスコアおよび人間の好みの観点から、モデルの性能は単純なテンプレートベースラインと比べてどの程度優れているか？
• RQ4 モデルが単にコピーするのではなく、事実を推論・再表現できる程度はどの程度か。また、幻覚のリスクは何か？
• RQ5 この知識からテキストへの変換タスクにおいて、BLEUのような自動指標は人間による品質評価とどの程度相関しているか？

主な発見

• 提案されたモデル（s2s+ae）は、BLEUスコア41.0を達成し、ヴァナイルseq2seqモデル（33.1）およびテンプレートベースライン（21.1）を顕著に上回った。
• 人間の好み評価において、モデルはWikipediaの基準文よりも40％の割合で好まれ、高い人間による品質評価を得た。
• 自己符号化目的により、文の長さを変化させずに事実再現率が向上し、1文あたり5.2件の事実（ベースラインseq2seqでは4.5件）を含む一方で、高い正確性（0.93）を維持した。
• ベースラインseq2seqモデルと比較して、幻覚が低減した。Wikidata入力との正確性は0.93であったのに対し、テンプレートベースラインは0.96であった。
• 内容選択の分析から、モデルは一般的に表現される事実（例：職業、生年月日）に対して最もよく機能し、F1スコアが0.95以上であったが、まれな事実（例：出身地、政治的加盟）ではF1が0.50未満にとどまった。
• 手動分析から、モデルは事実を推論・再表現できるが、まれなスロットではしばしば幻覚を生じることが判明し、推論と正確性の間のトレードオフが浮き彫りになった。