[論文レビュー] Leveraging Text and Knowledge Bases for Triple Scoring: An Ensemble Approach - The BOKCHOY Triple Scorer at WSDM Cup 2017

Boyang Ding, Quan Wang+1 more|arXiv (Cornell University)|Dec 22, 2017

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本論文は、WSDM Cup 2017 チャレンジにおける事実的トリプル品質予測を向上させるために、テキストと知識ベースの信号を統合するアンサンブルベースの3重スコアリングシステム、BOKCHOYを提示する。4つのベーススコアラーを統合し、トリガ語検出を用いた予測の最適化により、最先端の性能を達成し、知識ベース品質評価におけるマルチモーダル信号統合の有効性を示している。

ABSTRACT

We present our winning solution for the WSDM Cup 2017 triple scoring task. We devise an ensemble of four base scorers, so as to leverage the power of both text and knowledge bases for that task. Then we further refine the outputs of the ensemble by trigger word detection, achieving even better predictive accuracy. The code is available at https://github.com/wsdm-cup-2017/bokchoy.

研究の動機と目的

• オープンドメイン知識ベース構築における事実的トリプルの品質と正しさを評価する課題に対処すること。
• テキスト的証拠と構造化された知識ベースという多様な情報源を統合することで、トリプルスコアリングの正確性を向上させること。
• 複数のスコアリング信号を効果的に統合する、強固なアンサンブルフレームワークの開発。
• トリガ語検出をポストプロセッシングのリファインメントステップとして用いることで、予測の信頼性を向上させること。
• WSDM Cup 2017のトリプルスコアリングトラックで競争力のあるソリューションを提供し、最高のパフォーマンスを達成すること。

提案手法

• 本手法は、テキストと知識ベースの信号の異なる組み合わせを活用する4つのベーススコアラーのアンサンブルを採用する。
• テキストベースのスコアリングは、Wikipedia やその他のコーパスからの文脈的証拠を活用してトリプル事実を検証する。
• 知識ベースベースのスコアリングは、既存のKBからの埋め込みモデルと構造的特徴を用いて、トリプルの妥当性を評価する。
• アンサンブルは、キャリブレーションと予測力の最適化を目的として、重み付き平均を用いて個々のスコアを統合する。
• トリガ語検出モジュールをアンサンブルの後処理として適用し、事実性を示唆する言語的手がかりを特定することで予測を精緻化する。
• 最終モデルは、WSDM Cup 2017のトレーニングセット上で学習・チューニングされ、AUCとF1を最適化するハイパーパrameterが調整された。

実験結果

リサーチクエスチョン

• RQ1 テキスト的証拠と構造化された知識ベースの信号を統合することで、トリプルスコアリングのパフォーマンスが向上するか？
• RQ2 多様なスコアリング信号を統合する際、アンサンブルアプローチは事実的トリプル評価においてどの程度効果的か？
• RQ3 トリガ語検出は、トリプルスコアリングモデルの正確性をどの程度向上させ得るか？
• RQ4 テキスト特徴と知識ベース特徴の間で、それぞれがトリプル正しさの予測に果たす相対的寄与度は何か？
• RQ5 低リソースでオープンドメインなトリプルスコアリング設定において、ハイブリッドモデルは個々のモデルを上回る性能を示せるか？

主な発見

• アンサンブルモデルは、WSDM Cup 2017のトリプルスコアリングコンペティションで最高のパフォーマンスを達成した。
• トリガ語検出を組み込むことで、ベースアンサンブルに比べてF1スコアとAUCスコアに顕著な改善が見られた。
• テキスト的証拠は、特にカバレッジが低いケースにおいて、正しいトリプルと誤りのあるトリプルを区別する上で顕著な寄与を示した。
• 知識ベースの埋め込みは強力なインダクティブバイアスを提供し、希少エンティティの一般化性能を向上させた。
• 最終モデルは、多様なエンティティタイプと関係カテゴリにわたり、強固な性能を示した。
• コードとモデル重みは公開され、再現性とさらなるベンチマークの実施が可能となった。