[論文レビュー] Making Efficient Use of a Domain Expert's Time in Relation Extraction

Linara Adilova, Sven Giesselbach+1 more|arXiv (Cornell University)|Jul 12, 2018

Topic Modeling参考文献 19被引用数 1

ひとこと要約

本稿では、ドメインスペシャリストをデータラベルラーとしてではなく、代表的なトリグラムに関するフィードバックを通じて関係抽出を精緻化するモデルの解釈者として統合するアクティブラーニングフレームワークを提案する。遠隔教師付き学習を用いて事前ラベル付けされたデータを処理し、スペシャリストの知見を用いて過学習するトリグラムをフィルタリングすることで、モデルの一般化性能を向上させる。名前付きエンティティへの過学習が減少したにもかかわらず、10の関係のうち5つでより優れた性能を達成しており、リソースが限られた関係抽出の状況において、専門家の時間をより効率的に活用できることを示している。

ABSTRACT

Scarcity of labeled data is one of the most frequent problems faced in machine learning. This is particularly true in relation extraction in text mining, where large corpora of texts exists in many application domains, while labeling of text data requires an expert to invest much time to read the documents. Overall, state-of-the art models, like the convolutional neural network used in this paper, achieve great results when trained on large enough amounts of labeled data. However, from a practical point of view the question arises whether this is the most efficient approach when one takes the manual effort of the expert into account. In this paper, we report on an alternative approach where we first construct a relation extraction model using distant supervision, and only later make use of a domain expert to refine the results. Distant supervision provides a mean of labeling data given known relations in a knowledge base, but it suffers from noisy labeling. We introduce an active learning based extension, that allows our neural network to incorporate expert feedback and report on first results on a complex data set.

研究の動機と目的

• 直接的な専門家参加によるデータアノテーションを最小限に抑えることで、関係抽出におけるラベル付けに要する手作業の負担を削減すること。
• ドメインスペシャリストが例のラベル付けではなく、モデルの予測を解釈することで、より効率的に貢献できる方法を探ること。
• 代表的なn-グラムの検査を通じて特定された過学習するトリグラムをフィルタリングすることで、モデルの一般化性能を向上させること。
• トリグラムレベルのパターンに対する専門家のフィードバックが、リソースが限られた特殊分野における性能にどのように影響を与えるかを評価すること。
• 専門家の時間が、大規模なデータラベル付けよりもモデルの解釈に注ぎ込まれるべきであることを実証すること。

提案手法

• 知識ベースを用いて遠隔教師付き学習を適用し、訓練データの自動ラベル付けを実施することで、手作業アノテーションの必要性を低減する。
• 遠隔教師付き学習でラベル付けされたデータを用いて、エンドツーエンドの関係抽出を実行する畳み込みニューラルネットワーク（CNN）を訓練する。
• グローバルマックスプーリングとスコアリング用の全結合層を用い、学習された文の表現に基づいて関係を分類する。
• 専門家が過学習や誤ったパターンを示すトリグラム（n-グラム）を検査・フィルタリングするアクティブラーニングループを導入する。
• 名前付きエンティティ（例：人物、組織名など）に過剰に依存する例を削除するため、トリグラムフィルタリングを適用して一般化性能を向上させる。
• 専門家主導のトリグラムフィルタリングの前後でモデルの性能を評価し、精度、再現率、過学習への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 ドメインスペシャリストがデータラベル付けではなく、モデルの挙動を解釈することで、関係抽出により効果的に貢献できるか？
• RQ2 トリグラムパターンに対する専門家のフィードバックは、リソースが限られた環境下でのモデルの一般化性能や性能にどのように影響を与えるか？
• RQ3 遠隔教師付き学習に加えて、過学習するトリグラムをフィルタリングすることで、どの程度関係抽出の性能が向上するか？
• RQ4 どの関係タイプにおいて、専門家のトリグラム検査が最も顕著な性能向上をもたらすか？
• RQ5 遠隔教師付き学習と専門家のフィードバックを組み合わせたハイブリッドアプローチは、完全に教師ありまたは完全に教師なしの手法に比べて、作業対効果比において優れているか？

主な発見

• 人物、組織、場所などの名前付きエンティティに過学習するトリグラムをフィルタリングすることで、10の関係のうち5つで過学習が軽減され、一般化性能が向上した。
• 「per:alternate-names」や「per:stateorprovince-of-residence」のような関係では、無意味なトリグラムを削除することで、モデルがより意味のある言語的パターンを学習できるようになった。
• 「per:country-of-birth」のケースでは、フィルタリングによって「生まれた場所」のような構文パターンを学習できるようになり、特定の名前に依存しなくなった。
• 「per:employee-of」では、フィルタリングにより性能が悪化した。これは、企業名が強い予測信号である能力をモデルが失ったためであり、フィルタリングは文脈に応じて注意深く行う必要があることを示している。
• スパイルスなトリグラムを特定・削除する専門家の役割は、特に訓練データとテストデータに共通するエンティティに過学習するのを防ぐ観点から、手作業ラベル付けよりも効果的であった。
• 本研究では、専門家の時間が、大規模なデータラベル付けよりもモデルの解釈とトリグラムレベルのフィードバックに注ぎ込まれるべきであることが実証され、高品質な関係抽出へのより効率的な道筋が示された。