[論文レビュー] Snowman: A Million-scale Chinese Commonsense Knowledge Graph Distilled from Foundation Model

Jiaan Wang, Jianfeng Qu+5 more|arXiv (Cornell University)|Jun 17, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

この論文では、インstructチューニングおよびRLHFファインチューニングを施した基礎モデルChatGPTから抽出された、ミリオンスケールの中国語コモンセンス知識グラフであるSnowmanを紹介する。少量のプロンプトと自己インstructフィルタリング戦略を活用することで、低品質なネガティブコモンセンスを是正し、人間受容率90.6％を達成し、規模と品質の面で中国語CKG分野における新たな最先端水準を確立した。生成タスクにおける下流性能でも、先行モデルを上回った。

ABSTRACT

Constructing commonsense knowledge graphs (CKGs) has attracted wide research attention due to its significant importance in cognitive intelligence. Nevertheless, existing CKGs are typically oriented to English, limiting the research in non-English languages. Meanwhile, the emergence of foundation models like ChatGPT and GPT-4 has shown promising intelligence with the help of reinforcement learning from human feedback. Under the background, in this paper, we utilize foundation models to construct a Chinese CKG, named Snowman. Specifically, we distill different types of commonsense head items from ChatGPT, and continue to use it to collect tail items with respect to the head items and pre-defined relations. Based on the preliminary analysis, we find the negative commonsense knowledge distilled by ChatGPT achieves lower human acceptance compared to other knowledge. Therefore, we design a simple yet effective self-instruct filtering strategy to filter out invalid negative commonsense. Overall, the constructed Snowman covers more than ten million Chinese commonsense triples, making it the largest Chinese CKG. Moreover, human studies show the acceptance of Snowman achieves 90.6\%, indicating the high-quality triples distilled by the cutting-edge foundation model. We also conduct experiments on commonsense knowledge models to show the usability and effectiveness of our Snowman.

研究の動機と目的

• 高品質で大規模な中国語コモンセンス知識グラフ（CKG）の不足に応えるために、先進的な基礎モデルを活用すること。
• 既存のCKGが主に英語に偏っており、翻訳による文化的・言語的不一致を生じるという制限を克服すること。
• 特にネガティブ知識に焦点を当てたフィルタリング戦略を設計することで、抽出されたコモンセンス知識の品質、特にネガティブ知識の品質を向上させること。
• インストラクトチューニングおよびRLHFファインチューニングを施した基礎モデル（例：ChatGPT）が、高品質で構造化されたコモンセンス知識を効率的に抽出できることを実証すること。
• リソースが限られた言語における高品質CKGの構築に適したスケーラブルで最小限のプロトコルフレームワークを確立すること。

提案手法

• ChatGPTから多様なヘッド項目（例：自発的、非自発的、状態）を抽出するために、小さなシードセットを用いた少量のプロンプトを適用する。
• xWant、xNeed、xReact、xEffect、xAttr、xIntent、HinderedByなどの事前に定義された関係を用いて、各ヘッド項目に対してテイル項目を生成する。
• 低品質なネガティブコモンセンス三項対（特に「妨げられる」「防がれる」状態を含むもの）を同定・除去するために、自己インストラクトフィルタリング戦略を適用する。
• ChatGPTから1,100万件を超える原始的三項対を収集し、フィルタリングを施して人間受容率を向上させる。
• Snowmanの三項対を用いてCOMETベースのコモンセンス生成モデルを訓練し、実用性と有効性を評価する。
• 3名のアノテーターによる人間評価を実施し、ランダムに抽出された三項対における人間受容率を算出する。

実験結果

リサーチクエスチョン

• RQ1 インストラクトチューニングおよびRLHFファインチューニングを施した基礎モデル（例：ChatGPT）は、スケール的に高品質で構造化された中国語コモンセンス知識を生成できるか？
• RQ2 なぜネガティブコモンセンス知識（例：'HinderedBy'関係）はポジティブ関係と比べて著しく人間受容率が低いのか？
• RQ3 単純な自己インストラクトフィルタリング戦略は、抽出されたネガティブコモンセンス三項対の品質を効果的に向上させられるか？
• RQ4 Snowmanの品質と規模は、CN-AutoMIC や ATOMIC-zh といった既存の中国語CKGと比較して、人間受容率および下流生成性能の面で優れているか？
• RQ5 Snowmanは、他のCKGと比較して、コモンセンス生成モデルの性能をどの程度向上させられるか？

主な発見

• Snowmanは1,000万件を超える中国語コモンセンス三項対を含んでおり、これまでで最大の中国語CKGである。
• Snowmanの原始的受容率は86.8％に達し、CN-AutoMICの47.6％やATOMIC-10Xの78.5％を大幅に上回っている。
• 自己インストラクトフィルタリング戦略を適用した後、Snowmanの人間受容率は90.6％に上昇し、中国語CKGの中で最高水準となった。
• 'HinderedBy'関係の原始的受容率は当初65.7％と最低であったが、フィルタリング後は92.7％に上昇し、品質回復が有効に実現された。
• Snowmanの高品質三項対で微調整されたCOMETモデルは、人間受容率81.8％を達成し、ATOMIC-zh（31.2％）やCN-AutoMIC（61.3％）で微調整されたモデルを上回った。
• ChatGPTを用いた構築プロトコルは、CN-AutoMICの複数段階のフィルタリングプロトコルよりも簡潔かつ効果的であり、リソースが限られた言語や多言語CKG構築への広範な適用可能性を示唆している。