[論文レビュー] Commonsense Knowledge Enhanced Embeddings for Solving Pronoun Disambiguation Problems in Winograd Schema Challenge

Quan Liu, Hui Jiang+4 more|arXiv (Cornell University)|Nov 13, 2016

Topic Modeling参考文献 21被引用数 13

ひとこと要約

本稿では、ConceptNet、WordNet、CauseCom からの常識的知識を単語埋め込み学習に統合することで、Winograd スキーマチャレンジにおける代名詞の意味あいまいさ解消を改善するため、常識的知識拡張埋め込み（KEE）を提案する。この手法は、非教師あり意味的類似度とニューラル知識活性化を組み合わせたハイブリッドアプローチを用いて、PDPタスクで66.7%の新しいSOTA精度を達成した。

ABSTRACT

In this paper, we propose commonsense knowledge enhanced embeddings (KEE) for solving the Pronoun Disambiguation Problems (PDP). The PDP task we investigate in this paper is a complex coreference resolution task which requires the utilization of commonsense knowledge. This task is a standard first round test set in the 2016 Winograd Schema Challenge. In this task, traditional linguistic features that are useful for coreference resolution, e.g. context and gender information, are no longer effective anymore. Therefore, the KEE models are proposed to provide a general framework to make use of commonsense knowledge for solving the PDP problems. Since the PDP task doesn't have training data, the KEE models would be used during the unsupervised feature extraction process. To evaluate the effectiveness of the KEE models, we propose to incorporate various commonsense knowledge bases, including ConceptNet, WordNet, and CauseCom, into the KEE training process. We achieved the best performance by applying the proposed methods to the 2016 Winograd Schema Challenge. In addition, experiments conducted on the standard PDP task indicate that, the proposed KEE models could solve the PDP problems by achieving 66.7% accuracy, which is a new state-of-the-art performance.

研究の動機と目的

• 従来の言語的特徴が選択的制限や句構造的手がかりの欠如により失敗する、Winograd スキーマチャレンジにおける代名詞の意味あいまいさ解消の課題に対処する。
• PDPタスクにおける学習データの欠如を補うために、外部の常識的知識ベースを活用し、非教師あり特徴学習をガイドする。
• 分散単語埋め込みに常識的知識を効果的に統合するための柔軟なフレームワークを開発する。
• 知識拡張表現を用いて、ランダム推測やベースラインシステムを上回るPDPベンチマークでのパフォーマンス向上を実現する。
• 複数の知識ベースの系統的な統合を通じて、公式2016年Winograd スキーマチャレンジテストセットでSOTA結果を達成する。

提案手法

• 常識的知識ベース（ConceptNet、WordNet、CauseCom）からの教師信号に基づいて単語埋め込みを学習し、意味的および常識的制約を符号化するKEEモデルを構築する。
• 文脈に応じた単語埋め込みの合成を用いて、PDP問題における代名詞および候補照応語を表現する。
• 非教師あり意味的類似度（USSM）を適用し、KEE表現間のコサイン類似度に基づいて候補照応語をランク付けする。
• KEEから抽出した特徴を用いてトレーニングされたニューラル分類器を用いたニューラル知識活性化法（NKAM）を実装し、意味あいまいさ解消を改善する。
• USSMとNKAMをハイブリッドシステム（USSM+NKAM）として統合し、類似度と学習済み分類の両方の利点を活かしてパフォーマンスを向上させる。
• 複数の知識ベースからの知識を統合しながら、Wikipediaコーパス上でKEEモデルをファインチューニングし、一般化能力とロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部の知識ベースからの常識的知識を分散単語埋め込みに効果的に統合できるか？ その統合により代名詞の意味あいまいさ解消が向上するか？
• RQ2 ConceptNet、WordNet、CauseCom の複数の知識ベースの統合が、PDPタスクにおけるパフォーマンスに与える影響は何か？
• RQ3 本稿で提案するKEEフレームワークは、常識的監視なしに文脈情報に依存するベースラインシステムを上回るか？
• RQ4 非教師あり類似度とニューラル分類のハイブリッドアプローチが、さらに意味あいまいさ解消精度を向上させられるか？
• RQ5 知識拡張埋め込みを用いて、PDPベンチマークで達成可能な上限パフォーマンスは何か？

主な発見

• 提案されたKEEフレームワークは、Wikipediaコーパスと複数の知識ベースの統合アプローチを用いて、PDPタスクで66.7%の新しいSOTA精度を達成した。
• すべての知識ベースを統合した最良のシステム、USSM+NKAMは66.7%の精度を達成し、文脈のみを用いたベースライン（53.3%）を著しく上回った。
• CauseComの知識統合が最大のパフォーマンス向上をもたらし、文脈のみのベースラインから21.9%の精度向上を達成した。
• ConceptNet、WordNet、CauseCom の3つの知識ベースの組み合わせが最高のパフォーマンスを生み出し、多様な常識的ソースの補完的性質を確認した。
• 公式2016年Winograd スキーマチャレンジでは58.3%の精度を達成し、すべての提出物の中で最高であった。実世界での有効性が裏付けられた。
• CBTestおよびWikipediaベースのトレーニングコーパスの両方で一貫した改善が確認され、Wikipediaベースの最良のシステムは文脈のみのベースラインを25.1ポイント上回った。