[論文レビュー] Towards building a knowledge base of monetary transactions from a news collection

Jan R. Benetka, Krisztian Balog+1 more|arXiv (Cornell University)|Jun 19, 2017

Topic Modeling参考文献 28被引用数 5

ひとこと要約

本稿では、報道記事から通貨取引イベントを抽出・統合するための教師あり学習手法を提案する。イベント属性を統合的にモデル化することで、一貫した5つ組表現（エンティティ、行動、金額、通貨、時刻）を生成し、正確性を向上させる。同一イベントの全レポートを集約し、信頼度スコアで順位付けすることで、単一レポートに依存するベースライン手法に比べ、F1スコアで25%の向上を達成した。

ABSTRACT

We address the problem of extracting structured representations of economic events from a large corpus of news articles, using a combination of natural language processing and machine learning techniques. The developed techniques allow for semi-automatic population of a financial knowledge base, which, in turn, may be used to support a range of data mining and exploration tasks. The key challenge we face in this domain is that the same event is often reported multiple times, with varying correctness of details. We address this challenge by first collecting all information pertinent to a given event from the entire corpus, then considering all possible representations of the event, and finally, using a supervised learning method, to rank these representations by the associated confidence scores. A main innovative element of our approach is that it jointly extracts and stores all attributes of the event as a single representation (quintuple). Using a purpose-built test set we demonstrate that our supervised learning approach can achieve 25% improvement in F1-score over baseline methods that consider the earliest, the latest or the most frequent reporting of the event.

研究の動機と目的

• 報道記事における経済的イベントの報告が不一致・重複するという課題に対処すること。
• 構造的かつ正確なイベント表現を金融知識ベースに半自動で構築する手法を開発すること。
• すべての属性（エンティティ、行動、金額、通貨、時刻）を1つの5つ組表現として統合的にモデル化することで、イベント抽出の正確性を向上させること。
• 複数のレポートを集約し、信頼度スコアで順位付けすることで、イベントデータのノイズと不一致を低減すること。
• 目的に合わせて構築されたテストセットを用いて、従来の単一レポートベースライン手法との比較で性能向上を評価すること。

提案手法

• 大規模な報道記事コーパスから、特定の経済的イベントに関する全レポートを収集し、候補となる表現の包括的セットを構成する。
• 各イベントを5つ組（エンティティ、行動、金額、通貨、時刻）として表現し、すべての主要属性を1つの構造的ユニットに統合する。
• 言語的および文脈的特徴から得られる信頼度スコアに基づいて、候補となるイベント表現を順位付けする教師あり学習モデルを適用する。
• 比較のためのベースラインとして、最も早い、最も遅い、または最も頻度の高いレポートを選択するアンサンブル戦略を用いる。
• F1スコアの向上を測定するために、目的に合わせて構築されたテストセット上でモデルを訓練および評価する。
• 自然言語処理および機械学習技術を活用し、多様な言語的表現におけるイベント属性を同定・正規化する。

実験結果

リサーチクエスチョン

• RQ1 すべてのイベント属性を1つの5つ組表現として統合的にモデル化することで、報道記事からの通貨取引抽出の正確性が向上するか？
• RQ2 同じイベントの複数レポートを集約することで、抽出されたイベント表現の信頼性はどのように変化するか？
• RQ3 単一レポート選択戦略（最も早い、最も遅い、最も頻度の高いレポート）に比べ、教師あり学習モデルがF1スコアをどの程度向上できるか？
• RQ4 信頼度スコアの導入が、複数レポートの中から最も正確なイベント表現を選択する上でどのような影響を及ぼすか？
• RQ5 本手法は、金融知識ベースへのデータ統合における不一致や誤りをどの程度効果的に低減できるか？

主な発見

• 提案手法は、イベントの最も早い、最も遅い、または最も頻度の高いレポートに依存するベースライン手法に比べ、F1スコアで25%の向上を達成した。
• すべてのイベント属性を1つの5つ組表現として統合的にモデル化することで、個別に属性を抽出する手法よりも一貫性があり、正確性の高い抽出が可能になった。
• 同じイベントの複数レポートを集約し、信頼度スコアで順位付けすることで、最終的な知識ベースエントリのノイズと不一致が顕著に低減された。
• 教師あり学習モデルは、報道テキストにおけるイベント報告の言語的ばらつきを効果的に捉え、多様な報道文書にわたる耐性を高めた。
• 目的に合わせて構築されたテストセットにおいて、本手法は優れた性能を示し、実際の報道記事コーパス環境下での有効性を裏付けた。
• 結果から、複数レポート表現の信頼度ベース順位付けが、金融的イベント抽出において単一レポート選択戦略を上回ることが示された。