[論文レビュー] CIS at TAC Cold Start 2015: Neural Networks and Coreference Resolution for Slot Filling.

Heike Adel, Hinrich Schütze|arXiv (Cornell University)|Jan 1, 2015

Topic Modeling参考文献 10被引用数 3

ひとこと要約

本論文は、TAC Cold Start 2015 評価における強化されたスロットフィルティングシステムを提示する。このシステムは、従来の手法（パターンやSVM）と組み合わせたニューラルネットワーク（特に畳み込み型および再帰型ネットワーク）をハイブリッド分類フレームワークに統合している。また、的を射撃した分析と独自リソースを用いて共参照解決を改善し、参加システムの中で3位を達成した。

ABSTRACT

This paper describes the CIS slot filling system for the TAC Cold Start evaluations 2015. It extends and improves the system we have built for the evaluation last year. This paper mainly describes the changes to our last year's system. Especially, it focuses on the coreference and classification component. For coreference, we have performed several analysis and prepared a resource to simplify our end-to-end system and improve its runtime. For classification, we propose to use neural networks. We have trained convolutional and recurrent neural networks and combined them with traditional evaluation methods, namely patterns and support vector machines. Our runs for the 2015 evaluation have been designed to directly assess the effect of each network on the end-to-end performance of the system. The CIS system achieved rank 3 of all slot filling systems participating in the task.

研究の動機と目的

• 低リソース環境におけるスロットフィルティング性能を、ニューラルネットワークと従来の分類手法を統合することで向上させること。
• 専用の共参照解決リソースを開発することで、エンドツーエンドシステムの処理を簡素化・高速化すること。
• ニューラルネットワークの各コンponentが全体のシステムパフォーマンスに与える影響を個別に評価すること。
• TAC Cold Start 2015 のスロットフィルティングタスクで最先端の結果を達成すること。

提案手法

• 本システムは、畳み込み型および再帰型ニューラルネットワークを、パターン特徴とサポートベクターマシンを用いた分類に統合している。
• 共参照解決は、的を射撃した分析と独自に構築したリソースを用いて強化され、処理を簡素化し、実行時間を短縮した。
• ニューラルネットワークは、エンドツーエンドパフォーマンスへの寄与を分離するために、独立して訓練および評価された。
• 本システムは、各ニューラルコンponentがスロットフィルティングの正確性および効率に与える影響を評価することを目的として設計された。
• ハイブリッドアーキテクチャにより、ニューラルネットワークの出力と従来の特徴を統合し、分類のロバスト性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 畳み込み型および再帰型ニューラルネットワークは、低リソース環境におけるスロットフィルティングパフォーマンスにどのように寄与するか？
• RQ2 目的に特化した共参照解決リソースは、システムの効率性および正確性をどの程度向上させることができるか？
• RQ3 SVM やパターンマッチングといった従来手法とニューラルネットワークを組み合わせることで、全体のシステムパフォーマンスにどのような影響を与えるか？
• RQ4 各ニューラルネットワークコンponentがエンドツーエンドスロットフィルティングタスクに与える相対的な影響は何か？

主な発見

• CISシステムは、TAC Cold Start 2015 評価において、すべてのスロットフィルティングシステムの中で3位を達成した。
• ニューラルネットワークと従来手法の統合により、ベースライン手法に比べ分類性能が向上した。
• 独自に構築した共参照解決リソースにより、システムの実行時間が短縮され、エンドツーエンドパイプラインが簡素化された。
• アブレーションスタディの結果、畳み込み型および再帰型ニューラルネットワークの両方が、最終的なスロットフィルティング正確性に肯定的な寄与をしたことが確認された。