[論文レビュー] Rewarding Coreference Resolvers for Being Consistent with World Knowledge

Rahul Aralikatte, Heather Lent+6 more|arXiv (Cornell University)|Sep 5, 2019

Software System Performance and Reliability参考文献 26被引用数 5

ひとこと要約

本稿では、知識ベース（例：Wikidata）に含まれる世界知識と整合する関係トリプルを生成するmentionの生成を報酬とする、マルチタスク強化学習フレームワークを提案する。オープン関係抽出とユニバーサルスキーマ報酬モデルを統合することで、事実の整合性を最適化し、知識ベースからの間接的監督によって、教師ありベースラインを上回る最先端のF1スコアを、OntoNotesおよびWikiCorefで達成した。

ABSTRACT

Unresolved coreference is a bottleneck for relation extraction, and high-quality coreference resolvers may produce an output that makes it a lot easier to extract knowledge triples. We show how to improve coreference resolvers by forwarding their input to a relation extraction system and reward the resolvers for producing triples that are found in knowledge bases. Since relation extraction systems can rely on different forms of supervision and be biased in different ways, we obtain the best performance, improving over the state of the art, using multi-task reinforcement learning.

研究の動機と目的

• 高品質な共参照アノテーションデータの不足を補うために、知識ベースからの世界知識を監視信号の代理として活用すること。
• 『フロリダ』と『サンシャインステート』のように、訓練データでほとんど共起しない名前同士の共参照に起因する誤りを低減すること。
• 共参照解決器が関係抽出システムを通すことで事実的に整合的なトリプルを生成するmentionを出力するように訓練することで、共参照解決の性能を向上させること。
• 外部知識ベースとの整合性が、エンドツーエンドの共参照モデル学習に強力でスケーラブルな信号として機能するかどうかを検討すること。

提案手法

• 神経的共参照解決器を用いて、Wikipediaドキュメント上のmentionの先行詞予測を生成する。
• 各解決済みドキュメントをオープン関係抽出（OpenRE）システムで処理し、主語-関係-目的語（SRO）トリプルを生成する。
• 共参照関係にあるmentionを含むトリプルに対して、Wikidata（RE-KG）、Wikipedia共起（RE-Text）、または統合信号（RE-Joint）で訓練されたユニバーサルスキーマモデルを用いてスコアを算出し、報酬を生成する。
• 報酬は、過去100エピソードの移動平均ウィンドウを用いて正規化された個々のトリプルスコアの合計として計算され、学習の安定化を図る。
• ポリシー勾配強化学習を用いて、報酬信号に基づき共参照解決器をファインチューニングする。探索は10％の確率でランダム行動選択を用いる。
• マルチタスク学習により、3つの報酬関数（RE-KG、RE-Text、RE-Joint）をモデル distillation を用いて統合し、統一的で頑健な報酬信号を生成する。

実験結果

リサーチクエスチョン

• RQ1 知識ベースからの世界知識との整合性が、共参照解決のための効果的でスケーラブルな監視信号として機能するか。
• RQ2 関係抽出による事実の整合性を組み込むことで、単なる教師あり監視を超えて共参照解決がどの程度向上するか。
• RQ3 知識ベース、テキスト共起、統合信号といった補完的報酬信号を用いたマルチタスク強化学習は、単一の報酬源に比べて一般化性能を向上させるか。
• RQ4 『サンシャインステート』や『フロリダ』のような曖昧または希少な名前バリエーションを含む共参照チェーンにおける誤りは、どの程度低減されるか。
• RQ5 モデルは、『この試み』のような実行的名詞句（イベントを表す名詞句）のような非エンティティの名詞句を、事実の整合性を高める方向にリンクできるか。その結果、誤ったリンクが生じる可能性があるが。

主な発見

• 提案手法はOntoNotesデータセットで最先端の性能を達成し、教師ありベースライン（73.80）から0.78ポイントのF1スコア向上（75.62）を達成した。
• WikiCorefデータセットでも、新たなSOTA F1スコアを達成し、OntoNotes以外のデータセットに対しても一般化を示した。
• 世界知識統合の向上により、『南半球』『ケンブリッジ』『オックスフォード』など、以前に見逃されていたエンティティもより多く特定した。
• イベントを表す名詞句（例：『この試み』）を『リリース』などにリンクする傾向が見られ、これは精度を向上させるが、わずかに再現率を低下させる。
• 再現率がわずかに低下（70.75 vs. 71.34）したものの、精度の顕著な向上のおかげで、全体のF1スコアは有意に向上しており、より良い事実の整合性を示している。
• マルチタスク報酬戦略（RE-Joint）は、個別の報酬関数を上回り、知識ベースとテキスト共起信号を統合することで、頑健性と性能が向上することが示された。