[論文レビュー] Understanding Few-Shot Commonsense Knowledge Models.

Jeff Da, Ronan Le Bras+3 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本論文は、1関係あたりのタプル数が限られた状況下で、一般的知識モデルの少数-shot学習を調査し、人間評価において完全に教師ありのシステムと比較して6%以内の知識生成性能を達成できることを示している。このアプローチにより、最小限の監視のもとで一般的知識関係の広範なカバレッジが可能となり、NLP分野における効率的な知識取得のスケーラブルな道筋が提供される。

ABSTRACT

Providing natural language processing systems with commonsense knowledge is a critical challenge for achieving language understanding. Recently, commonsense knowledge models have emerged as a suitable approach for hypothesizing situation-relevant commonsense knowledge on-demand in natural language applications. However, these systems are limited by the fixed set of relations captured by schemas of the knowledge bases on which they're trained. To address this limitation, we investigate training commonsense knowledge models in a few-shot setting with limited tuples per commonsense relation in the graph. We perform five separate studies on different dimensions of few-shot commonsense knowledge learning, providing a roadmap on best practices for training these systems efficiently. Importantly, we find that human quality ratings for knowledge produced from a few-shot trained system can achieve performance within 6% of knowledge produced from fully supervised systems. This few-shot performance enables coverage of a wide breadth of relations in future commonsense systems.

研究の動機と目的

• 既存の一般的知識ベースにおける固定された関係スキーマの制限を克服するため、1関係あたりの例が少ない状況での学習を可能にする。
• 自然言語処理応用における一般的知識モデリングの少数-shot学習の実現可能性と有効性を調査する。
• 少数-shot一般的知識モデルを効率的かつ効果的に訓練するためのベストプラクティスを確立する。

提案手法

• 1関係あたりのタプル数が限られた状況下で、一般的知識モデルを少数-shot設定で学習する。
• 少数-shot一般的知識学習の異なる次元にわたる5つの異なる研究を実施し、性能と頑健性を評価する。
• 人間評価を用いて、生成された知識の品質を完全に教師ありのベースラインと比較する。
• 既存の知識ベーススキーマを活用しつつ、少数-shotのファインチューニングによってその有用性を拡張する。
• 転移学習技術を適用し、リソースが限られた関係の状況にモデルを適応させる。
• 多様な一般的知識関係にわたるモデル性能の評価を通し、広範なカバレッジと一般化性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 少数-shot学習により、完全に教師ありのモデルと同等の品質の一般的知識モデルを生成できるか？
• RQ2 1関係あたりの例が僅かである場合、異なる一般的知識関係における性能はどのように変化するか？
• RQ3 少数-shot一般的知識学習の成功に影響を与える主な要因は何か？
• RQ4 限られた学習データであっても、少数-shotモデルがどのように広範な一般的知識関係のカバレッジを達成できるか？
• RQ5 少数-shot一般的知識モデルを効率的に訓練するためのベストプラクティスは何か？

主な発見

• 少数-shotで学習されたモデルが生成する知識についての人間評価の品質スコアは、完全に教師ありのシステムが生成するものと6%以内の差にとどまる。
• 少数-shotアプローチにより、広範な一般的知識関係のカバレッジが可能となり、将来的なシステムの範囲が著しく拡大される。
• 最小限の監視のもとで、多様な一般的知識関係にわたる強力な一般化性能を示している。
• 結果から、少数-shot学習は一般的知識モデリングにおける完全に教師ありの学習の代替手段として実用的で効率的であることが示唆される。
• 5つの包括的な研究を通じて少数-shot学習のベストプラクティスが同定され、今後の開発のためのロードマップが提供された。
• 1関係あたりのタプルが僅かであっても、このアプローチは高い品質の知識生成を維持している。