[論文レビュー] TransOMCS: From Linguistic Graphs to Commonsense Knowledge

Hongming Zhang, Daniel Khashabi+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 23被引用数 4

ひとこと要約

本稿では、パターンマッチングとランク付けを用いて言語的グラフから高品質な常識知識を抽出する手法TransOMCSを提案する。その結果、OMCSより2桁大きい知識グラフが得られた。このアプローチはASERから得た言語的パターンをConceptNet形式のタプルに変換し、下流のNLPタスクにおいて優れたカバレッジと新規性を達成しているが、ノイズが増加しても依然として高い性能を維持している。

ABSTRACT

Commonsense knowledge acquisition is a key problem for artificial intelligence. Conventional methods of acquiring commonsense knowledge generally require laborious and costly human annotations, which are not feasible on a large scale. In this paper, we explore a practical way of mining commonsense knowledge from linguistic graphs, with the goal of transferring cheap knowledge obtained with linguistic patterns into expensive commonsense knowledge. The result is a conversion of ASER [Zhang et al., 2020], a large-scale selectional preference knowledge resource, into TransOMCS, of the same representation as ConceptNet [Liu and Singh, 2004] but two orders of magnitude larger. Experimental results demonstrate the transferability of linguistic knowledge to commonsense knowledge and the effectiveness of the proposed approach in terms of quantity, novelty, and quality. TransOMCS is publicly available at: https://github.com/HKUST-KnowComp/TransOMCS.

研究の動機と目的

• 従来の常識知識抽出手法が人的アノテーションに依存するため、スケーラビリティに課題があることに対処すること。
• 従属構造および話法的関係から得られる言語的パターンが、高品質な常識知識にどのように転送可能かを調査すること。
• ConceptNet/OMCS形式のスケーラブルな常識知識グラフを構築し、カバレッジと新規性を向上させること。
• 抽出された知識の有効性を内在的および外在的NLPタスクで評価すること。

提案手法

• 本手法は、ConceptNet 5.5のサブセットである初期常識知識セットと、ASERからの言語的グラフを用い、重複する語彙と関係を特定する。
• 各初期タプル (h, r, t) に対して、h と t を含む言語的グラフを選択し、それらの構造的関係から言語的パターンを抽出する。
• パターンフィルタリングモジュールは、既知の常識的事実との重複度と言語的一貫性に基づき、高精度なパターンを選択する。
• 識別的ランク付けモデルは、抽出された常識的タプルの品質を評価・スコア化し、低品質または不完全な主張をフィルタリングする。
• 最終的な知識セットであるTransOMCSは、OMCSおよびConceptNetと同一形式で構築され、200万以上のエッジを有する。
• フレームワークは従属構文解析と話法接続詞を活用し、生テキストから3790万件の出来事と1000万件の話法的関係を抽出する。

実験結果

リサーチクエスチョン

• RQ1 従属構造および話法的関係から抽出した言語的パターンは、常識知識を効果的に推論するために有効に利用できるか？
• RQ2 言語的知識の転送は、常識知識リソースの規模と新規性をどの程度向上させられるか？
• RQ3 TransOMCSの品質とカバレッジは、OMCS、COMET、LAMAといった既存リソースと比較してどの程度か？
• RQ4 TransOMCSの統合により、下流のNLPタスクの性能が顕著に向上するか？

主な発見

• TransOMCSは200万以上のエッジを含み、元のOMCS（60万エッジ）と比較して2桁の増加を達成した。
• 会話生成タスクにおいて、TransOMCSは1例あたり平均3.36件の支援タプルを提供するが、OMCSは1.46件にとどまる。これは、カバレッジと新規性の顕著な向上を示している。
• 常識的読解理解タスクにおいて、TransOMCSは上位1％の知識を用いて0.37の精度向上を達成した。OMCS（0.21）やCOMET、LAMAといった他の手法を上回っている。
• TransOMCSを用いた会話生成モデルは、BLEUスコアが高く、COMETやLAMAを追加しても意味的な改善が得られなかった。これは、TransOMCSがより価値のある新規な知識を提供していることを示している。
• TransOMCSは「人間」が「生命を創造する」といったマルチトークンの概念や、他モデルが生成できないような新規な知識を生成している。
• OMCSよりもノイズが多いものの、スケールとカバレッジのおかげで下流タスクにおいて強力な実用性を示した。言語的パターンが常識知識に効果的に転送可能であることが裏付けられた。