[論文レビュー] Lightly-supervised Representation Learning with Global Interpretability

Marco A. Valenzuela-Escárcega, Ajay Nagesh+1 more|arXiv (Cornell University)|May 29, 2018

Topic Modeling参考文献 8被引用数 5

ひとこと要約

本稿では、少量のシード例を用いて反復的に予測を精緻化する半教師付きニューラルネットワークの目的関数を通じて、カスタムエンティティおよびパターン埋め込みを共同で学習する軽度教師付きアプローチであるEmbootを提案する。この手法は、CoNLL-2003およびOntoNotesで最先端の性能を達成するとともに、クラス固有の平均埋め込みとの類似度に基づいて順序付けられた、グローバルに解釈可能なパターンのリストを生成し、全モデルの精度を高く保ちつつ高い解釈可能性を実現する。

ABSTRACT

We propose a lightly-supervised approach for information extraction, in particular named entity classification, which combines the benefits of traditional bootstrapping, i.e., use of limited annotations and interpretability of extraction patterns, with the robust learning approaches proposed in representation learning. Our algorithm iteratively learns custom embeddings for both the multi-word entities to be extracted and the patterns that match them from a few example entities per category. We demonstrate that this representation-based approach outperforms three other state-of-the-art bootstrapping approaches on two datasets: CoNLL-2003 and OntoNotes. Additionally, using these embeddings, our approach outputs a globally-interpretable model consisting of a decision list, by ranking patterns based on their proximity to the average entity embedding in a given class. We show that this interpretable model performs close to our complete bootstrapping model, proving that representation learning can be used to produce interpretable models with small loss in performance.

研究の動機と目的

• 監視付きNLPにおける高コストなラベル付けを軽減し、分類ごとに少数のラベル付き例でのみ効果的な情報抽出を可能にすること。
• 表現学習の頑健性とパターンベースのブートストラップの解釈可能性を統合し、密度付き埋め込みのブラックボックス性を克服すること。
• 個々の予測の解釈ではなく、全体の抽出システムを説明可能なグローバルなモデルを構築し、実世界の応用における保守性と信頼性を高めること。
• 事前学習済み埋め込みを用いる解釈可能なモデルと比較して、カスタム埋め込みが性能と解釈可能性の両方を向上させることを示すこと。

提案手法

• 本手法は、同じクラスに属するエンティティおよびパターンを引き寄せる一方で、異なるクラスのものとは遠ざける半教師付き成分を組み込んだ、変更を加えたニューラルネットワーク言語モデル（NNLM）の目的関数を用いる。
• 2〜4トークンの両側にまで及ぶn-gramパターンと、多語種エンティティのための15次元のカスタム埋め込みを同時に学習し、初期化はランダムに設定し、学習中に更新する。
• 各エポックごとに、各クラスごとに予測の信頼度が最も高い10件を追加することで、既知のエンティティおよびパターンの集合を反復的に拡張する。信頼度の閾値は、エンティティの埋め込みとクラスの重心との類似度に基づく。
• 最終的な解釈可能なモデルは、各クラスごとにパターンの類似度スコアを計算する意思決定リストとして構築され、そのスコアはそのクラスのエンティティ平均埋め込みとのコサイン類似度に基づく。
• 入力特徴として従属構造に基づく単語埋め込み（300次元）を用い、t-SNE可視化を適用して、学習中にエンティティがカテゴリごとにクラスタリングされることを検証する。
• 評価はCoNLL-2003およびOntoNotesで実施され、クラスごとに10個のシードエンティティ、20エポックのブートストラップ、1エポックあたり100エポックの埋め込み学習を設定する。

実験結果

リサーチクエスチョン

• RQ1 軽度教師付きの表現学習アプローチは、解釈可能性を維持したまま、従来のブートストラップ手法を上回る性能を達成できるか？
• RQ2 エンティティおよびパターンの両方に対してカスタム埋め込みを学習することで、事前学習済み埋め込みを用いる場合と比較して、性能と解釈可能性が向上するか？
• RQ3 クラス重心との埋め込み類似度に基づいて導出された、グローバルに解釈可能なパターンの意思決定リストは、全モデルの性能に匹敵するか？
• RQ4 埋め込み類似度に基づく反復的精緻化プロセスは、従来のPMIベースや分類器ベースのエンティティプロモーションと比較して、どのように異なるか？

主な発見

• Embootは、CoNLL-2003およびOntoNotesの両データセットで、3つの最先端のブートストラップ手法（EPB、GuptaとManning, 2014、ラベル伝搬）を上回る性能を発揮した。
• 埋め込み類似度に基づいて順序付けられたパターンの意思決定リストを用いる解釈可能なバージョン（Emboot int）は、全モデルEmbootとほぼ同等の性能を示し、解釈可能性の実現に伴う性能の著しい損失がないことを示した。
• カスタム埋め込みに基づく解釈可能なモデル（Emboot int）は、LevyとGoldbergの事前学習済み埋め込みを用いた解釈可能なモデル（EPB int）を顕著に上回った。これは、タスク固有の埋め込み学習の重要性を裏付けた。
• CoNLL-2003では、Emboot intの59%の予測が1〜2つのパターンによってトリガーされ、84%が5つ以下のパターンによってトリガーされた。これは、高いスパarsityと解釈可能性を示している。
• t-SNE可視化により、学習過程でエンティティ埋め込みがカテゴリごとにクラスタリングされていることが確認され、モデルが意味的でクラス固有の表現を学習できていることが裏付けられた。
• 10個のシード例／クラスのみを用いても、ベースライン手法に対して一貫した性能向上を達成した。これは、極めて高いサンプル効率を示している。