[論文レビュー] Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey

Prajjwal Bhargava, Vincent Ng|arXiv (Cornell University)|Jan 28, 2022

Topic Modeling被引用数 9

ひとこと要約

このサーベイは、事前学習言語モデル（PLM）が推論および生成タスクにおいて共通知識をどのように捉え、活用しているかを検討し、その長所、限界、バイアスを分析する。ベンチマークの評価、テンプレートを用いたPLMの知識プローブ、報告バイアス、知識の疎らさ、多言語的ギャップといった主な課題を特定し、自然言語処理における強固で人間らしい理解を実現するための今後の研究方向性を提案する。

ABSTRACT

While commonsense knowledge acquisition and reasoning has traditionally been a core research topic in the knowledge representation and reasoning community, recent years have seen a surge of interest in the natural language processing community in developing pre-trained models and testing their ability to address a variety of newly designed commonsense knowledge reasoning and generation tasks. This paper presents a survey of these tasks, discusses the strengths and weaknesses of state-of-the-art pre-trained models for commonsense reasoning and generation as revealed by these tasks, and reflects on future research directions.

研究の動機と目的

• 事前学習言語モデル（PLM）を用いた共通知識の推論および生成分野における最近の進展をサーベイすること。
• 最近のベンチマークが示すように、PLMが共通知識をどの程度捉え、活用しているかを分析すること。
• モデルの理解度の意味のある評価を妨げる、バイアスや報告バイアスを含む、現在のベンチマークにおける主な限界を同定すること。
• 知識の疎らさ、知識グラフにおける文脈の欠如、多言語的共通知識推論の必要性といったオープンな課題を検討すること。
• 精神的・感情的状態といった共通知識の未だ未発掘の側面や、マルチモodal信号の統合といった、今後の研究を導くための要因を特定すること。

提案手法

• 知識ベースの三項対（例：＜主語, 係り, 宾語＞）を自然言語文に変換するための手作業によるテンプレートを用いたプロービング手法を用い、PLMの知識を評価する。
• 大規模なテキスト上で自己教師あり事前学習を実施し、文法的および共通知識を含む普遍的な言語表現を学習する。
• 事前学習中にマスク言語モデル（MLM）やその他の自己教師ありタスクを適用し、PLMが文脈的および共通知識を学習できるようにする。
• 語彙的重複やアノテーションのアーチファクトを低減し、ベンチマークにおけるショートカット学習経路を排除するために、敵対的フィルタリングとデータ拡張を用いる。
• 構造的および意味的つながりを活用して、知識グラフ（KG）の密な化と文脈化を図る手法を検討し、疎らさの低減と関連性の向上を図る。
• 視覚的およびテキスト的信号を統合するマルチモーダルアプローチを検討し、テキストのみの学習を超えて共通知識推論を強化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルは、共通知識をどの程度捉え、活用しているのか。その評価は信頼性を持って可能か？
• RQ2 現在のベンチマークにおける共通知識推論の評価に起因する主な限界は何か。バイアスはモデルの性能と解釈にどのように影響するか？
• RQ3 報告バイアス（共通知識が明示されていないこと）と知識グラフにおける知識の疎らさは、どのようにして緩和可能か。これにより共通知識推論システムの堅牢性が向上するか？
• RQ4 マルチモーダルデータ（例：視覚）は、PLMにおける共通知識の習得と推論をどのように豊かにできるか？
• RQ5 多言語環境における共通知識推論への拡張にはどのような課題と機会があるのか。なぜクロスリンガルPLMは非英語のベンチマークで性能を発揮しないのか？

主な発見

• 事前学習言語モデル（PLM）は共通知識推論および生成において顕著な能力を示すが、タスク設計上の欠陥のため、ベンチマーク上での性能向上が真の理解を反映しているとは限らない。
• 多くの既存ベンチマークは語彙的重複、予測可能な質問構造、アノテーションのアーチファクトを抱えており、モデルが本質的な推論をせずとも高い正答率を達成できる。
• 敵対的フィルタリングとデータ拡張技術によりショートカット学習は低減されるが、バイアスはベンチマーク設計と評価において依然として根強い課題のままである。
• 共通知識推論に用いられる知識グラフはしばしば疎らで文脈が欠如しており、その有用性が制限されている。密な化と文脈化を図る試みは有望であるが、未だ不完全である。
• 報告バイアス（共通知識が明示されていないこと）は、特に訓練データが限られる場合に、一般化の過剰とモデルバイアスの拡大を引き起こす。
• クロスリンガルPLMは非英語の共通知識推論タスクへの転送性能が著しく低いことが判明し、多言語的共通知識理解分野における重要なギャップを示している。