[論文レビュー] Distant IE by Bootstrapping Using Lists and Document Structure

Lidong Bing, Mingyang Ling+2 more|arXiv (Cornell University)|Jan 4, 2016

Natural Language Processing Techniques参考文献 23被引用数 7

ひとこと要約

本稿では、リスト構造とドキュメントのセクション境界を活用して、グラフ上のラベル伝搬によりノイズの多いトレーニングデータを低減する、情報抽出のための遠隔教師付き手法DIEBOLDSを提案する。小さな構造的整備済みコーパスから大規模で非構造的なターゲットコーパスを改善するブートストラップフレームワークを採用することで、1つのタスクでF1を2倍にし、Freebaseベースラインと比較して再現率と正確性を著しく向上させる。

ABSTRACT

Distant labeling for information extraction (IE) suffers from noisy training data. We describe a way of reducing the noise associated with distant IE by identifying coupling constraints between potential instance labels. As one example of coupling, items in a list are likely to have the same label. A second example of coupling comes from analysis of document structure: in some corpora, sections can be identified such that items in the same section are likely to have the same label. Such sections do not exist in all corpora, but we show that augmenting a large corpus with coupling constraints from even a small, well-structured corpus can improve performance substantially, doubling F1 on one task.

研究の動機と目的

• KBマッチングエラーが誤ったトレーニングラベルを引き起こす遠隔教師付き情報抽出における高いノイズ率に対処すること。
• テキスト内の構造的制約を特定・活用することで、遠隔ラベル付きトレーニングデータの品質を向上させること。
• リスト構造とセクションレベルの結合を用いた、遠隔教師付き学習とラベル伝搬を統合したブートストラップフレームワークの開発。
• 小さな構造的整備済みコーパスからの構造的シグナルを活用することで、大規模で非構造的なコーパス（例：薬物および疾患文書）における関係抽出のパフォーマンスを向上させること。
• 共起リストやセクション境界といった構造的ヒントが、ターゲットコーパスにそのような構造が存在しない場合でも、遠隔教師付きIEを著しく改善できることを示すこと。

提案手法

• DIEBOLDSは、大規模なターゲットコーパスと小さな構造的整備済みコーパスを解析し、NPチャンクとその特徴を抽出する。
• 3種類の結合を特定する：リスト結合（リスト内の項目は同様のラベルを共有する可能性が高い）、セクション結合（同じドキュメントセクション内の項目は同様のラベルを共有する可能性が高い）、隣接結合（隣接するNPはラベルを共有する可能性がある）。
• ノードがNPの出現を表し、リスト・セクション・隣接性から導かれる結合制約をエッジとするグラフを構築する。
• このグラフ上でラベル伝搬を適用し、遠隔ラベルを精錬することで、ノイズの多いラベルをフィルタリングし、信頼性の高いラベルを曖昧な表記に伝搬する。
• 精錬された疑似ラベル付きデータを用いて、標準的な分類器を訓練し、エンティティの出現間の関係タイプを予測する。
• 抽出された三項関係に対して、ProPPRを用いて複雑なクエリを処理し、評価にはFreebaseのシードとDIEBOLDSの出力を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 リストレベルおよびドキュメント構造レベルの結合制約は、遠隔教師付き情報抽出におけるノイズを低減できるか？
• RQ2 小さな構造的整備済みコーパスは、大規模で非構造的なターゲットコーパスにおける関係抽出パフォーマンスをどの程度向上させられるか？
• RQ3 結合グラフ上でラベル伝搬を適用することで、標準的な遠隔教師付き学習と比較してF1と再現率が向上するか？
• RQ4 構造的コーパスからの結合が、ターゲットコーパスに明確な構造が存在しない場合でも、知識を転送できるか？
• RQ5 ノイズの多いIE設定において、構造的シグナルの統合は、従来のブートストラップ法やマルチインスタンス学習と比較してどのように優れているか？

主な発見

• DIEBOLDSは古典的な遠隔教師付き学習を著しく上回り、1つの関係抽出タスクでF1スコアを2倍にした。
• DIEBOLDSの再現率はFreebaseと比較して80%高い。これは、はるかに包括的な知識カバレッジを示している。
• BioASQの質問応答ベンチマークにおいて、DIEBOLDSはMRRが0.094、MAPが0.092を達成した。これに対してFreebaseはMRRが0.025、MAPが0.025であった。
• 構造的コーパスからのリスト情報（DIEBOLDS-SN）を用いることで、局所的ラベル付けのみを用いたベースライン（DS+L）と比較して性能が向上し、外部の構造的シグナルの価値を示している。
• ラベル伝搬は、ノイズの多い遠隔ラベルを効果的にフィルタリングし、以前ラベルが割り当てられていなかった表記に対しても信頼性を伝搬させ、精度と再現率の両方を向上させた。
• ターゲットコーパスに明確なセクション境界がなくても、関連する構造的整備済みソースから導かれる結合シグナルがあれば、本手法は有効に機能することが示された。