[論文レビュー] Machine Learning with World Knowledge: The Position and Survey

Yangqiu Song, Dan Roth|arXiv (Cornell University)|May 8, 2017

Topic Modeling参考文献 196被引用数 9

ひとこと要約

本稿では、知識ベースや一般的な常識リソースといった汎用的で世界に関する知識を活用することで、機械学習の特徴表現の向上、ラベル付け作業の削減、および新しい学習パラダイムの実現を図ることを提案する。本稿は、明示的・暗黙的な特徴工学、エンティティリンクや意味解析のような推論タスク、および遠隔監視や自己学習のような学習パラダイムを統合する包括的なフレームワークを導入し、高価な人為的ラベル付きデータへの依存度を顕著に低減する。

ABSTRACT

Machine learning has become pervasive in multiple domains, impacting a wide variety of applications, such as knowledge discovery and data mining, natural language processing, information retrieval, computer vision, social and health informatics, ubiquitous computing, etc. Two essential problems of machine learning are how to generate features and how to acquire labels for machines to learn. Particularly, labeling large amount of data for each domain-specific problem can be very time consuming and costly. It has become a key obstacle in making learning protocols realistic in applications. In this paper, we will discuss how to use the existing general-purpose world knowledge to enhance machine learning processes, by enriching the features or reducing the labeling work. We start from the comparison of world knowledge with domain-specific knowledge, and then introduce three key problems in using world knowledge in learning processes, i.e., explicit and implicit feature representation, inference for knowledge linking and disambiguation, and learning with direct or indirect supervision. Finally we discuss the future directions of this research topic.

研究の動機と目的

• ドメイン特化型の機械学習応用における大規模データセットのラベル付けにかかる高コストと人的負荷を軽減すること。
• 特徴工学や監視手法に汎用的で世界に関する知識を活用することで、ドメイン特化型の知識への依存度を低下させること。
• 機械学習パイプラインの表現、推論、学習段階において、世界に関する知識の統合的かつ体系的な活用を統一すること。
• 認知的推論、多言語的バイアス、統合的推論-学習フレームワークにおける世界に関する知識統合の未解決課題を特定すること。

提案手法

• 世界に関する知識の活用を、表現（明示的同種・異種特徴、暗黙的特徴）、推論（エンティティリンクと意味解析）、学習（遠隔監視や自己学習のようなパラダイム）の3つの主要な側面に分類すること。
• 明示的意味解析（ESA）と確率的コンセプチュアル化を用いて、Freebase や Yago などの知識ベースと一致させることで、テキストを表現すること。
• 自由テキストを構造化された知識ベースにリンクするため、曖昧さを解消するための局所的およびグローバルな推論技術をエンティティリンクと意味解析に適用すること。
• ラベル付きデータへの依存度を低減するため、ソースフリー転移学習や意味的監視によるデータレス分類のような学習パララダイムを導入すること。
• 生成モデル（例：LDAベース）と識別モデル（例：階層的分類）を用いて、世界に関する知識を強化した表現学習を行うこと。
• 知識ベースとの整合性とモデル学習の共同最適化を図るため、統合的推論と学習フレームワークを提案すること。

実験結果

リサーチクエスチョン

• RQ1 世界に関する知識をどのように効果的に活用することで、教師あり機械学習におけるラベル付けコストを削減できるか？
• RQ2 機械学習モデルにおける特徴としての世界に関する知識を、どのように表現するのが最も効果的か？
• RQ3 エンティティリンクや意味解析のような推論技術を、どのように最適化して非構造化テキストと構造化された知識ベースを一致させられるか？
• RQ4 世界に関する知識によって可能になる学習パラダイムは何か？ それらは、従来の教師ありまたは半教師あり学習と比べてどのように異なるか？
• RQ5 認知的プロセスや多言語的／文化的バイアスと統合的に世界に関する知識を統合するための統一的学習フレームワークは、どのように構築できるか？

主な発見

• 世界に関する知識のおかげで、知識ベースの関係を介した間接的・遠隔的監視によって、高価な人為的ラベル付きラベルの必要性が顕著に削減される。
• 意味解析（例：ESA）や確率的コンセプチュアル化を用いた明示的特徴表現は、データレス分類のような特定のタスクにおいて、従来手法を上回る性能を示す。
• エンティティリンクと意味解析により、テキスト中の言及を知識ベースのエンティティに正確に一致させることができ、文書クラスタリング やトピックモデリングなどの下流NLPタスクの性能が向上する。
• ラベル付きデータが不足する状況では、世界に関する知識を強化することで、自己学習やソースフリー転移学習のような学習パラダイムが有効な代替手段となる。
• 統合的推論と学習フレームワークは、パフォーマンス向上の可能性を示しているが、計算コストが高く、さらなる最適化が求められる。
• 一般的な常識の獲得は依然として主要な未解決課題であり、現在の世界に関する知識ベースは言語や文化によって不完全で偏りを示している。