[論文レビュー] Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection

Yikang Li, Pulkit Goel+6 more|arXiv (Cornell University)|Dec 19, 2020

Topic Modeling参考文献 30被引用数 6

ひとこと要約

本稿では、注意メカニズムを介してConceptNetから一般的な知識をUnified Language Model (UniLM) に統合し、修正されたビームサーチによる語彙的制約の強制を通じて、語彙的制約付きテキスト生成を改善する手法を提案する。このアプローチは意味的整合性と概念カバレッジを顕著に向上させ、欠落した概念を最大15%まで削減し、人間の一般的常識との整合性を向上させる。

ABSTRACT

Conditional text generation has been a challenging task that is yet to see human-level performance from state-of-the-art models. In this work, we specifically focus on the Commongen benchmark, wherein the aim is to generate a plausible sentence for a given set of input concepts. Despite advances in other tasks, large pre-trained language models that are fine-tuned on this dataset often produce sentences that are syntactically correct but qualitatively deviate from a human understanding of common sense. Furthermore, generated sequences are unable to fulfill such lexical requirements as matching part-of-speech and full concept coverage. In this paper, we explore how commonsense knowledge graphs can enhance model performance, with respect to commonsense reasoning and lexically-constrained decoding. We propose strategies for enhancing the semantic correctness of the generated text, which we accomplish through: extracting commonsense relations from Conceptnet, injecting these relations into the Unified Language Model (UniLM) through attention mechanisms, and enforcing the aforementioned lexical requirements through output constraints. By performing several ablations, we find that commonsense injection enables the generation of sentences that are more aligned with human understanding, while remaining compliant with lexical requirements.

研究の動機と目的

• 語彙的制約下で意味的に整合的で一般的常識に準拠した文を生成できない事態を是正すること。
• CommonGenなどのテキスト生成タスクにおける概念カバレッジと品詞（POS）の正確性の限界を克服すること。
• 外部の一般的常識知識（ConceptNet）を言語モデルアーキテクチャに統合することで、モデル性能を向上させること。
• 制約付きデコード戦略を通じて、生成された文が入力されたすべての概念を正確な品詞タグで含むように保証すること。

提案手法

• 入力された概念間の一般的な関係をConceptNetから抽出し、頻度が高く品詞が一致する関係を優先する。
• 特に初期層に注目して、注意メカニズムを用いて抽出した関係をUniLMに統合し、文脈表現を豊かにする。
• 候補シーケンスのスコアを生成の尤度と語彙的制約の適合度の両面で評価する、修正されたビームサーチアルゴリズムを実装する。
• 最良N個のビームスコアリングを適用し、流暢さや一貫性を損なわずに、より長い概念豊富なシーケンスを優遇する。
• 不要またはノイズの多い拡張概念をフィルタリングするための知識選択戦略を用い、生成過程での干渉を低減する。
• 品詞タギングを知識統合とデコードプロセスに統合し、生成トークンの文法的正しさを維持する。

実験結果

リサーチクエスチョン

• RQ1 ConceptNetからの一般的な知識の統合は、語彙的制約付きテキスト生成の意味的妥当性を向上させることができるか？
• RQ2 注意ベースの知識統合は、非注意手法に比べて生成品質をどのように向上させるか？
• RQ3 制約付きビームサーチデコードは、欠落した概念や概念の繰り返しをどの程度削減できるか？
• RQ4 ConceptNetから高頻度で品詞が一致する関係を選択することで、フィルタリングなしの統合に比べて性能が向上するか？
• RQ5 知識統合と制約付きデコードの組み合わせは、人間の一般的常識との整合性を顕著に向上させることができるか？

主な発見

• 注意メカニズムによる知識統合は意味的整合性を向上させ、人間の一般的常識理解に近い文を生成した。
• 最良Nビームスコアリングは、標準的ビームサーチに比べて欠落概念率を最大15%まで削減した。特に、連結ベースの統合手法で顕著な効果を示した。
• 品詞に配慮した知識選択を施したモデルは、必要な品詞タグの一致率が2パーセンテージポイント以上向上した。
• 頻度に基づいて拡張概念をフィルタリングすることでノイズが低減し、生成品質が向上した。これは、抽出されたすべての関係が有益であるわけではないことを示している。
• 注意ベースの統合と制約付きデコードの組み合わせにより、最終出力における概念の繰り返しが完全に解消された。これは、ベースラインのUniLMとは対照的であった。
• アブレーションスタディにより、知識統合と制約付きデコードの両方が独立して性能向上に寄与しており、組み合わせることで相乗効果が得られると確認された。