[論文レビュー] Commonsense LocatedNear Relation Extraction

Frank F. Xu, Bill Yuchen Lin+1 more|arXiv (Cornell University)|Jan 1, 2017

Natural Language Processing Techniques被引用数 1

ひとこと要約

本稿では、数千の文を横断してスコアを集約することで、共通知識としての「LocatedNear」関係（共存するエンティティ同士の関係）を自動で抽出する文単位の分類器を提案する。5,000件のアノテート済み文と500組の物理的物体ペアから構成される2つのベンチマークデータセットを導入し、ベースラインモデルを確立。最新の汎用関係分類器と比較して、性能が向上していることを示している。

ABSTRACT

LocatedNear relation describes two typically co-located objects, which is a type of useful commonsense knowledge for computer vision, natural language understanding, machine comprehension, etc. We propose to automatically extract such relationship through a sentence-level classifier and aggregating the scores of entity pairs detected from a large number of sentences. To enable the research of these tasks, we release two benchmark datasets, one containing 5,000 sentences annotated with whether a mentioned entity pair has LocatedNear relation in the given sentence or not; the other containing 500 pairs of physical objects and whether they are commonly located nearby. We also propose some baseline methods for the tasks and compare the results with a state-of-the-art general-purpose relation classifier.

研究の動機と目的

• 自然言語テキストから、通常共存するエンティティを示す共通知識の一種である「LocatedNear」関係を自動で抽出すること。
• ビジョンと言語理解システムにとって不可欠であるが、専用のデータセットが不足している「LocatedNear」関係の問題を解決すること。
• 大規模コーパスにわたるエンティティペアのスコアを集約する、スケーラブルな文単位分類アプローチを開発すること。
• 5,000件の文単位のアノテーションと、500組の物理的物体ペアとその共存状態を含む2つのベンチマークデータセットを公開すること。
• 新規ベンチマーク上で、最新の汎用関係分類器と比較してベースラインモデルの性能を評価・比較すること。

提案手法

• 指定された2つのエンティティ間に「LocatedNear」関係が記述されているかどうかを判別する文単位分類器を訓練する。
• 複数の文からのスコアを集約して、エンティティペア間の「LocatedNear」関係の尤もらしさを推定する。
• 大規模コーパスを活用し、文脈内での共起に基づいてエンティティペアを抽出・スコア化する。
• 文単位の二値分類用（5,000文）と物理的物体ペアの共存状態用（500組）の2つのベンチマークデータセットを構築する。
• これらのデータセットを用いてベースラインモデルを訓練・評価し、比較のための最新の汎用関係分類器も含む。
• ヒューリスティックおよび学習ベースの集約戦略を適用し、複数の文からの証拠を統合して関係予測の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 文単位分類器は、自然言語テキストにおける「LocatedNear」関係を効果的に検出できるか？
• RQ2 複数の文にわたるスコア集約は、真の「LocatedNear」関係の検出精度を向上させるのにどの程度有効か？
• RQ3 ベースラインモデルは、新規ベンチマーク上で最新の汎用関係分類器と比較して、どの程度の性能を示すか？
• RQ4 提案されたデータセットは、共通知識としての「LocatedNear」関係抽出システムの開発と評価をどの程度支援できるか？
• RQ5 この特定の共通知識関係に対して、学習データの規模とアノテーションの品質がモデル性能に与える影響はどの程度か？

主な発見

• 提案された文単位分類器は、新規の「LocatedNear」ベンチマーク上で、最新の汎用関係分類器を上回る性能を達成した。
• 複数の文にわたるスコア集約は、孤立しているか曖昧な文によるノイズを低減することで、真の「LocatedNear」関係の検出を著しく向上させた。
• 5,000文のデータセットは、文単位の「LocatedNear」検出に効果的なモデルを学習するのに十分なカバレッジを提供し、測定可能な性能向上を実現した。
• 500組の物理的物体ペアのデータセットは、現実世界の状況における共存に関する共通知識の評価に信頼できる人為的アノテーションの基準を提供した。
• 新規データセットで学習したベースラインモデルは、汎用関係分類器と比較してF1スコアで一貫した向上を示したが、特にゼロショットおよびフェイントショットの状況で顕著であった。
• 結果から、専用のデータセットとターゲット特化した分類器が、汎用モデルを上回ることで、「LocatedNear」関係に対して、ドメイン特化の知識リソースの必要性が裏付けられた。