[論文レビュー] Ensemble Neural Relation Extraction with Adaptive Boosting

Dongdong Yang, Senzhang Wang+1 more|arXiv (Cornell University)|Jan 29, 2018

Topic Modeling参考文献 12被引用数 6

ひとこと要約

本論文は、双方向LSTMとアテンション機構、およびアダプティブブースティングを組み合わせたアンサンブルニューラル関係抽出モデルAda-LSTMを提案する。訓練中に誤分類されたサンプルの再重み付けを行い、複数のLSTMを活用することで、実世界のデータセットにおいて最先端手法よりもF1スコアが8%高い性能を達成する。

ABSTRACT

Relation extraction has been widely studied to extract new relational facts from open corpus. Previous relation extraction methods are faced with the problem of wrong labels and noisy data, which substantially decrease the performance of the model. In this paper, we propose an ensemble neural network model - Adaptive Boosting LSTMs with Attention, to more effectively perform relation extraction. Specifically, our model first employs the recursive neural network LSTMs to embed each sentence. Then we import attention into LSTMs by considering that the words in a sentence do not contribute equally to the semantic meaning of the sentence. Next via adaptive boosting, we build strategically several such neural classifiers. By ensembling multiple such LSTM classifiers with adaptive boosting, we could build a more effective and robust joint ensemble neural networks based relation extractor. Experiment results on real dataset demonstrate the superior performance of the proposed model, improving F1-score by about 8% compared to the state-of-the-art models.

研究の動機と目的

• 教師あり関係抽出におけるノイズ、不均衡、誤標籤データの課題に対処する。
• アテンション機構を深層ニューラルネットワークと統合することで、モデルの耐性と性能を向上させる。
• 訓練中に困難なサンプルを動的に再重み付けするため、アダプティブブースティングを活用して一般化性能を向上させる。
• 複数のLSTMを統合する共同アンサンブルフレームワークを構築し、予測精度と安定性を向上させる。

提案手法

• 文の前向きおよび後向きの意味を捉えるために、双方向スタックドLSTMを採用する。
• 関係に寄与する語の重要度に応じて可変重みを割り当てるため、アテンション機構を統合する。
• 同じアーキテクチャだが異なる初期化を持つ複数の独立したLSTM分類器を構築する。
• 訓練サンプルを繰り返し再重み付けし、誤分類されたインスタンスに重点を置いたバックプロパゲーションを実行するため、アダプティブブースティングを適用する。
• 複数のブースト済み分類器の予測をアンサンブルして、最終的なより耐性のある関係予測を生成する。
• 訓練の安定化と過学習の防止のため、L2正則化とローレートチューニングを用いる。

実験結果

リサーチクエスチョン

• RQ1 ノイズや不均衡なデータが存在する状況下で、アダプティブブースティングはニューラル関係抽出モデルの耐性と精度を向上させ得るか？
• RQ2 アテンション機構とLSTMを組み合わせることで、関係抽出の文の意味表現がどのように向上するか？
• RQ3 アダプティブブースティングを統合したアンサンブル学習は、単一モデルや非ブーストされたアンサンブル手法に比べて、どの程度優れているか？
• RQ4 性能と計算コストのバランスを考慮した場合、Ada-LSTMsアンサンブルにおける最適な分類器数は何か？

主な発見

• Ada-LSTMsモデルはF1スコア0.54を達成し、最先端手法Rank+ExATTよりも8%高い性能を示した。
• Ada-LSTMsの精度-再現率曲線は、ベースラインと比較して滑らかで安定しており、特に低再現率領域で優れた耐性を示している。
• P@100、P@200、P@300の各指標において、平均で11.6%の精度向上を達成し、Rank+ExATTを上回った。
• 分類器数が10個まで増加すると性能が向上するが、以降は増益が収束し、10～20モデルを超えると収益逓減が顕著になる。
• アダプティブブースティングとアテンションベースのLSTMの統合により、勾配降下最適化が改善され、難易度の高い例の処理が向上した。
• モデルは優れた一般化性能を示し、再現率が上昇しても精度が著しく低下せず、他のモデルが急激に性能を落とすのとは対照的だった。