[論文レビュー] Recursive Feature Generation for Knowledge-based Learning

Lior Friedman, Shaul Markovitch|arXiv (Cornell University)|Jan 31, 2018

Text and Document Classification Technologies参考文献 30被引用数 4

ひとこと要約

本稿では、知識ベースからの外部的関係的知識を統合することで学習アルゴリズムの性能を向上させる、再帰的特徴量生成手法FEAGUREを提案する。特徴量の値をオブジェクトとして扱い、背景知識を用いてそれらを再帰的に分類器で学習することで、高水準で一般化可能な特徴量を生成し、文書分類の性能を顕著に向上させる。

ABSTRACT

When humans perform inductive learning, they often enhance the process with background knowledge. With the increasing availability of well-formed collaborative knowledge bases, the performance of learning algorithms could be significantly enhanced if a way were found to exploit these knowledge bases. In this work, we present a novel algorithm for injecting external knowledge into induction algorithms using feature generation. Given a feature, the algorithm defines a new learning task over its set of values, and uses the knowledge base to solve the constructed learning task. The resulting classifier is then used as a new feature for the original problem. We have applied our algorithm to the domain of text classification using large semantic knowledge bases. We have shown that the generated features significantly improve the performance of existing learning algorithms.

研究の動機と目的

• 既存の特徴量生成手法が単に既存の特徴量を組み合わせるにとどまることによる制限を解消すること。これは、複雑な現実世界のシナリオでは一般化に失敗しがちな要因である。
• Freebase や YAGO のような大規模で構造化された知識ベースから、機械学習アルゴリズムが外部の背景知識を活用できるようにすること。特に、それらを意味的で高水準の特徴量に変換することを目的とする。
• 任意の既存の誘導アルゴリズムと統合可能で、一般化性能と性能を向上させる、アルゴリズムに依存しない一般的な手法を開発すること。
• 珍しいまたは未確認の特徴量の値（例：特定の国からの患者の姓）に対して学習アルゴリズムの一般化性能が低い問題を克服し、それらを高水準の意味的カテゴリに抽象化すること。

提案手法

• 入力特徴量の各ユニークな値（例：姓）をオブジェクトとして扱い、関係的知識ベースの事実を特徴量として用いて、それらの値の上に新たな学習問題を構築する。
• 得られた各派生学習問題に対して、誘導アルゴリズム（例：決定木）を適用し、新しいタスクにおける正例と負例を区別する分類器を学習する。
• 得られた分類器を、元の学習問題における新たな2値特徴量として使用する。具体的には、分類器を元の特徴量の値（例：姓に対して「出身国」分類器を適用）に適用する。
• このプロセスを再帰的に適用する：新たに生成された特徴量自体を、さらなる再帰的特徴量生成の入力として利用可能となり、多段階の抽象化が可能になる。
• 知識ベースからより表現力が高く具体的な特徴量式を生成するために、論理的リファインメント（例：'CapitalOf(Y,Z)' の追加）を用いて探索を行う。
• 本手法は、出力が訓練済み分類器であるため、任意の誘導アルゴリズムと一般に互換性があり、各再帰段階の出力が元の学習パイプラインへのブラックボックス入力として利用可能である。

実験結果

リサーチクエスチョン

• RQ1 関係的知識ベースからの再帰的特徴量生成は、文書分類タスクにおける既存の学習アルゴリズムの一般化性能を向上させることができるか？
• RQ2 本手法は、元の特徴量セットに直接的にエンコードされていない高水準の意味的パターン（例：地理的地域）をどれほど効果的に捉えられるか？
• RQ3 単一段階の特徴量生成と比較して、特徴量生成を再帰的に適用することで性能がどの程度向上するか？
• RQ4 抽象化された知識ベース特徴量を活用することで、未確認の特徴量の値（例：既知の国からの新しい姓）に対しても一般化が可能になるか？
• RQ5 特徴量の組み合わせや言語的前処理に依存する既存の特徴量生成技術と比較して、本手法の性能はどの程度優れているか？

主な発見

• 提案手法である再帰的特徴量生成は、関係的知識ベースからの外部知識の統合により、既存の学習アルゴリズムの文書分類タスクにおける性能を顕著に向上させる。
• Freebase や YAGO のような知識ベースの活用により、抽象的で一般化可能な特徴量（例：「東ヨーロッパに位置する」）が生成され、特徴量の値そのもの以上の意味的関係を捉えることが可能になった。
• 本手法の再帰的適用により、学習データに明示的に含まれていない国からの未確認の姓に対しても、モデルが適切に処理できるよう一般化性能が向上した。
• 元の特徴量のみ、または単純な特徴量の組み合わせに依存するベースラインモデルと比較して、本手法は特にスパarsityが高く判別力に欠ける特徴量の状況で優れた性能を示した。
• 生成された特徴量が分類器であるため、任意の誘導アルゴリズムと一般に互換性があり、元の学習パイプラインへのブラックボックス入力として利用可能である。
• 元の特徴量（例：姓）の判別力が限定的であっても、知識ベースの推論により意味的で意味のある抽象化に変換することで、本手法は有効性を示した。