[論文レビュー] CO-NNECT: A Framework for Revealing Commonsense Knowledge Paths as Explicitations of Implicit Knowledge in Texts

Maria Becker, Katharina Korfhage+2 more|arXiv (Cornell University)|May 7, 2021

Topic Modeling参考文献 26被引用数 5

ひとこと要約

CO-NNECTは、ConceptNetで微調整された関係分類モデルとターゲット予測モデルを統合する動的フレームワークを提案する。このフレームワークにより、文書内の文間の暗黙的な知識を露わにする高品質で明示的な常識知識パス（単一ホップおよびマルチホップ）を生成する。この手法は、静的知識グラフに比べてより関連性が高く、解釈可能で文脈に適したパスを生成する。これは、議論的テキストデータセットにおける手動および自動評価によって検証された。

ABSTRACT

In this work we leverage commonsense knowledge in form of knowledge paths to establish connections between sentences, as a form of explicitation of implicit knowledge. Such connections can be direct (singlehop paths) or require intermediate concepts (multihop paths). To construct such paths we combine two model types in a joint framework we call Co-nnect: a relation classifier that predicts direct connections between concepts; and a target prediction model that generates target or intermediate concepts given a source concept and a relation, which we use to construct multihop paths. Unlike prior work that relies exclusively on static knowledge sources, we leverage language models finetuned on knowledge stored in ConceptNet, to dynamically generate knowledge paths, as explanations of implicit knowledge that connects sentences in texts. As a central contribution we design manual and automatic evaluation settings for assessing the quality of the generated paths. We conduct evaluations on two argumentative datasets and show that a combination of the two model types generates meaningful, high-quality knowledge paths between sentences that reveal implicit knowledge conveyed in text.

研究の動機と目的

• 自然言語処理における常識知識パスの系統的な評価が不足していること、特に文間の暗黙的な知識を明示することを解決する。
• 関係分類の正確さとターゲット予測の生成的パワーを統合し、意味のある知識パスを構築するフレームワークを開発すること。
• 下流タスクの性能を超えて、手動アノテーションと自動指標を用いて、ゴールスタンダードの暗黙的知識アノテーションと照らし合わせてパスの品質を評価すること。
• 微調整された言語モデルから動的に生成されたパスが、静的知識グラフを上回り、暗黙のテクスト的つながりをより関連性があり、的を射た形で捉えることの優位性を示すこと。

提案手法

• フレームワークは2種類のモデルを統合する：ConceptNetで微調整されたマルチラベル関係分類器であるCOREC-LM。これは概念間の直接的（単一ホップ）関係を予測する。
• COMET（事前学習済みトランスフォーマー・モデル）を用い、ソース概念と関係が与えられたもとで中間的またはターゲット概念を生成することで、前方チェインを用いたマルチホップパスの構築を可能にする。
• 知識パスは推論時に動的に生成され、事前に保存された三項組に依存せず、静的ConceptNetを超えた一般化を可能にする。
• フレームワークは共同推論を用いる：関係分類が直接的なリンクを特定し、ターゲット予測が中間ノードを介してパスを拡張する。
• 評価は、パスの関連性に関する手動アノテーションと、ゴールスタンダードの暗黙的知識アノテーションとの類似度指標（Cosim、Bert Score）を用いて実施される。
• 静的ConceptNetパスを用いたベースラインと比較することで、動的かつ文脈に適応したパス生成の利点を示す。

実験結果

リサーチクエスチョン

• RQ1 関係分類とターゲット予測を統合したフレームワークは、静的知識ソースに比べ、より意味的で関連性の高い常識知識パスを生成できるか？
• RQ2 動的に生成された知識パスは、暗黙的知識のゴールスタンダードアノテーションと比較して、関連性および意味的類似度の面でどのように異なるか？
• RQ3 Cosim や Bert Score といった自動評価指標は、パス品質および関連性に関する人的判断とどの程度相関するか？
• RQ4 ConceptNet上で微調整された言語モデルを用いることで、純粋に検索ベースまたは静的知識グラフ手法に比べ、パス品質が向上するか？
• RQ5 このフレームワークは、議論的テキストにおける文間の暗黙的つながりを明示的に明らかにする解釈可能で文脈に適したマルチホップパスを生成できるか？

主な発見

• COREC-LM と COMET を統合した CO-NNECT は、人間がアノテートした暗黙的知識と一致する知識パスの生成において、最高のパフォーマンスを達成し、個別のモデルおよび静的 ConceptNet ベースラインを上回った。
• IKAT データセット（設定 b）では、Cosim/F1 スコアが .70、Bert Score/F1 が .81 を記録し、ゴールスタンダードの自然言語による暗黙的知識の説明と強い整合性を示した。
• 手動評価では、Cosim や Bert Score といった自動指標が、常に人的判断の関連性と相関しないことが判明し、自動評価にのみ依存する限界を示唆した。
• 静的 ConceptNet パスでさえ、関係の曖昧さ（例：IKAT では 56.6% が RelatedTo）が高く、ノイズが多く、解釈が難しいつながりとなるため、問題を抱えていた。
• COREC-LM と COMET の組み合わせにより、単体での使用よりも高品質なパスが得られ、相補的な強みが示された：直接関係の正確さとマルチホップ推論における柔軟性。
• 生成されたパスは、手動アノテーションでの高い関連性評価を示し、暗黙的知識の明示化として効果的であり、常識制約を課した議論分類や言語生成などの下流タスクに適している。